CN110659573A - 一种人脸识别方法、装置、电子设备及存储介质 - Google Patents

一种人脸识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110659573A
CN110659573A CN201910779709.9A CN201910779709A CN110659573A CN 110659573 A CN110659573 A CN 110659573A CN 201910779709 A CN201910779709 A CN 201910779709A CN 110659573 A CN110659573 A CN 110659573A
Authority
CN
China
Prior art keywords
face
face image
stn
resnet
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910779709.9A
Other languages
English (en)
Other versions
CN110659573B (zh
Inventor
高大帅
李健
张连毅
武卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP
Beijing Sinovoice Technology Co Ltd
Original Assignee
BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP filed Critical BEIJING INFOQUICK SINOVOICE SPEECH TECHNOLOGY CORP
Priority to CN201910779709.9A priority Critical patent/CN110659573B/zh
Publication of CN110659573A publication Critical patent/CN110659573A/zh
Application granted granted Critical
Publication of CN110659573B publication Critical patent/CN110659573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种人脸识别方法、装置、电子设备及存储介质。所述方法包括:获取待识别人脸图像;将所述待识别人脸图像输入人脸编码特征向量生成模型,得到所述待识别人脸图像的人脸编码特征向量,所述人脸编码特征向量生成模型是利用人脸图像样本集对STN‑ResNet网络模型进行训练得到的,所述STN‑ResNet网络模型包括STN空间变换网络和ResNet深度残差网络;基于所述人脸编码特征向量进行人脸识别,得到所述待识别人脸图像的人脸识别结果。本申请所提供的人脸识别方法不仅能提高人脸识别速度,同时还能提升人脸识别的精度,在对自然场景中的非正脸的人脸图像进行识别时,本申请提升人脸识别的精度的效果尤为显著。

Description

一种人脸识别方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域,具体涉及一种人脸识别方法、装置、电子设备及存储介质。
背景技术
人脸识别是近年来计算机视觉领域和机器学习领域中极富挑战性的课题之一,受到了研究者们的广泛关注。成功有效的人脸识别具有广阔的应用前景,可在国防安全、视频监控、人机交互以及视频索引等场景发挥巨大作用。
相关技术中,通常采用下述技术手段实现人脸识别:首先将包含人脸的图像输入人脸检测模块,人脸检测模块负责从图像中检测出人脸图像;然后将检测出的人脸图像输入人脸对齐模块,人脸对齐模块负责对人脸图像进行人脸关键点提取,并根据人脸关键点进行人脸对齐变换;然后将对齐后的人脸图像输入人脸特征编码模块,人脸特征编码模块负责提取人脸图像的特征,并生成固定维数的人脸特征向量;最后将人脸特征向量输入人脸比对模块,人脸比对模块负责查找出与人脸特征向量匹配的特征向量,并根据该特征向量得到人脸识别结果。
然而,由于人脸对齐的结果依赖于人脸关键点的检测精度,而目前超过一定角度的非正脸的人脸关键点的检测精度不高,导致非正脸的人脸图像的识别精度并不高。因此,相关技术领域中急需一种能提升人脸图像的识别精度的方法。
发明内容
本申请实施例提供了一种人脸识别方法、装置、电子设备及存储介质,旨在提升人脸图像的识别精度。
本申请实施例第一方面提供了一种人脸识别方法,所述方法包括:
获取待识别人脸图像;
将所述待识别人脸图像输入人脸编码特征向量生成模型,得到所述待识别人脸图像的人脸编码特征向量,所述人脸编码特征向量生成模型是利用人脸图像样本集对STN-ResNet网络模型进行训练得到的,所述STN-ResNet网络模型包括STN空间变换网络和ResNet深度残差网络;
基于所述人脸编码特征向量进行人脸识别,得到所述待识别人脸图像的人脸识别结果。
可选地,在将所述待识别人脸图像输入人脸编码特征向量生成模型,得到所述待识别人脸图像的人脸编码特征向量之前,所述方法还包括:
采用TensorFlow框架搭建所述STN-ResNet网络模型;
将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型,采用目标损失函数对所述STN-ResNet网络模型进行训练,直至收敛,得到所述人脸编码特征向量生成模型,其中,所述目标损失函数包括:Arcface Loss损失函数和Focal Loss损失函数。
可选地,将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型,采用目标损失函数对所述STN-ResNet网络模型进行训练,包括:
将所述人脸图像样本集中的人脸图像样本输入所述STN空间变换网络,对所述人脸图像样本进行对齐处理;
将对齐处理后的人脸图像样本输入所述ResNet深度残差网络,对所述人脸图像样本进行特征处理;
采用所述目标损失函数对所述STN-ResNet网络模型进行训练。
可选地,在将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型之后,所述方法还包括:
对所述人脸图像样本集中的人脸图像样本进行样本增强操作,所述样本增强操作包括以下至少一种:增强颜色空间、增强随机剪切、增强左右镜像以及增强透视变换;
采用目标损失函数对所述STN-ResNet网络模型进行训练,包括:
利用进行样本增强操作后的人脸图像样本,采用目标损失函数对所述STN-ResNet网络模型进行训练。
可选地,在将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型之前,所述方法还包括:
获取人脸图像样本集;
对所述人脸图像样本集进行预处理,包括:
对所述人脸图像样本集进行类内清洗和类间清洗;
将清洗后的人脸图像样本集中的人脸图像样本调整到预设尺寸。
可选地,所述ResNet深度残差网络模块中设置有SE网络模块,所述SE网络模块通过Squeeze操作和Excitation操作调整所述STN-ResNet网络模型中的特征通道的权重。
本申请实施例第二方面提供了一种人脸识别装置,所述装置包括:
获取模块,用于获取待识别人脸图像;
输入模块,用于将所述待识别人脸图像输入人脸编码特征向量生成模型,得到所述待识别人脸图像的人脸编码特征向量,所述人脸编码特征向量生成模型是利用人脸图像样本集对STN-ResNet网络模型进行训练得到的,所述STN-ResNet网络模型包括STN空间变换网络和ResNet深度残差网络;
识别模块,用于基于所述人脸编码特征向量进行人脸识别,得到所述待识别人脸图像的人脸识别结果。
可选地,所述装置还包括:
模型搭建模块,用于采用TensorFlow框架搭建所述STN-ResNet网络模型;
模型训练模块,用于将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型,采用目标损失函数对所述STN-ResNet网络模型进行训练,直至收敛,得到所述人脸编码特征向量生成模型,其中,所述目标损失函数包括:Arcface Loss损失函数和Focal Loss损失函数。
可选地,所述模型训练模块包括:
人脸对齐模块,用于将所述人脸图像样本集中的人脸图像样本输入所述STN空间变换网络,对所述人脸图像样本进行对齐处理;
特征处理模块,用于将对齐处理后的人脸图像样本输入所述ResNet深度残差网络,对所述人脸图像样本进行特征处理;
第一训练模块,用于采用所述目标损失函数对所述STN-ResNet网络模型进行训练。
可选地,所述装置还包括:
样本增强模块,用于对所述人脸图像样本集中的人脸图像样本进行样本增强操作,所述样本增强操作包括以下至少一种:增强颜色空间、增强随机剪切、增强左右镜像以及增强透视变换;
所述模型训练模块包括:
第二训练模块,用于利用进行样本增强操作后的人脸图像样本,采用目标损失函数对所述STN-ResNet网络模型进行训练。
可选地,所述装置还包括:
样本获取模块,用于获取人脸图像样本集;
样本预处理模块,用于对所述人脸图像样本集进行预处理;
所述样本预处理模块包括:
清洗模块,用于对所述人脸图像样本集进行类内清洗和类间清洗;
调整模块,用于将清洗后的人脸图像样本集中的人脸图像样本调整到预设尺寸。
可选地,所述ResNet深度残差网络模块中设置有SE网络模块,所述SE网络模块通过Squeeze操作和Excitation操作调整所述STN-ResNet网络模型中的特征通道的权重。
本申请实施例第三方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现本申请第一方面所述的方法的步骤。
本申请实施例第四方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请第一方面所述的方法中的步骤。
本申请实施例提供了一种基于人脸编码特征向量生成模型实现的人脸识别方法,该人脸编码特征向量生成模型是预先利用人脸图像样本集对STN-ResNet网络模型进行训练得到的,STN-ResNet网络模型一方面结合了STN空间变换网络在矫正图像方面的优势和ResNet深度残差网络在消除梯度弥散方面的优势,同时将具有自动调整特征通道权重的功能的SE网络模块嵌入ResNet深度残差网络,另一方面且在训练过程中将Arcface Loss和Focal Loss结合作为目标损失函数,因此,通过基于STN-ResNet网络模型训练得到的人脸编码特征向量生成模型,不仅能提升人脸识别速度,同时还能提高人脸识别的精度,在对自然场景中的非正脸的人脸图像进行识别时,本申请提升人脸识别的精度的效果尤为显著。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例示出的一种训练人脸编码特征向量生成模型的方法的流程示意图;
图2是本申请一实施例示出的另一种训练人脸编码特征向量生成模型的方法的流程示意图;
图3是本申请一实施例示出的一种STN空间变换网络的结构示意图;
图4是本申请一实施例示出的一种ResNet36的结构示意图;
图5是本申请一实施例示出的一种人脸识别方法的流程图;
图6是本申请一实施例示出的一种人脸识别装置的结构示意图;
图7是本申请一实施例示出的一种电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在对本申请提供的人脸识别方法进行说明之前,下面首先对人脸编码特征向量生成模型的训练过程进行详细说明。
图1是本申请一实施例示出的一种训练人脸编码特征向量生成模型的方法的流程示意图。参照图1,本申请采取下述步骤训练得到人脸编码特征向量生成模型:
步骤S11:采用TensorFlow框架搭建所述STN-ResNet网络模型。
在本申请中,STN-ResNet网络模型包括:STN(Spatial Transformer Network,空间变换网络)空间变换网络和ResNet(Deep Residual Network,深度残差网络)深度残差网络。ResNet深度残差网络是一种基于VGG(Visual Geometry Group)架构改进(在VGG架构中加入了跳线机制并提出了残差单元)得到的具有提升收敛速率和收敛效果功能的网络。
为便于陈述人脸识别方法,本申请的ResNet深度残差网络采用ResNet36(一种常用于特征提取的分类网络),当然,也可以根据实际业务的需求采用其它类型的深度残差网络,本申请对此不作具体限制。
TensorFlow是人工智能领域中可通过编程搭来建数学模型的软件平台。TensorFlow提供大量的函数模块,在搭建数学模型过程中,用户可以调用这些函数模块,例如:可以调用Gradient Descent(即:梯度下降函数)来求解该数学模型的参数,或者可以调用交叉熵损失函数来判断该数学模型的优化程度。
步骤S12:将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型,采用目标损失函数对所述STN-ResNet网络模型进行训练,直至收敛,得到所述人脸编码特征向量生成模型,其中,所述目标损失函数包括:Arcface Loss损失函数和Focal Loss损失函数。
在本实施例中,人脸编码特征向量生成模型的功能是:输入待识别的人脸图像,输出对应该待识别的人脸图像的固定维数的特征向量,即人脸编码特征向量。本申请中人脸编码特征向量采用512维的向量表示。
图2是本申请一实施例示出的另一种训练人脸编码特征向量生成模型的方法的流程示意图。参照图2,上述步骤S12具体可以包括:
步骤S121:将所述人脸图像样本集中的人脸图像样本输入所述STN空间变换网络,对所述人脸图像样本进行对齐处理。
图3是本申请一实施例示出的一种STN空间变换网络的结构示意图。参照图3,本申请的STN空间变换网络包括:Localisation Network(本地化网络模块)、Grid Generator(网格生成器)以及Sampler(采样器)。
其中,Localisation Network为一个简单的回归网络。本申请的LocalisationNetwork采用三层卷积层和两层全连接层,该网络通过卷积层对输入的图像进行卷积操作,然后通过全连接层回归出6个角度值(假设是通过仿射变换,),并用一个2*3的矩阵表示上述6个角度值。
以输入的图像为图像U,目标图为目标图V为例,参照图2,Grid Generator首先获取目标图V中的坐标位置,将目标图V中的坐标位置与6个角度值的矩阵进行矩阵运算,得到目标图V中的每个坐标位置对应图像U中的坐标位置,即得到图像U的坐标矩阵T(G)。
最后,Sampler根据图像U的坐标矩阵T(G),在图像U中采样,将采样得到的像素复制到目标图V中,使得采样得到的目标图V即为对齐后的图像U。
因此,本申请依次将人脸图像样本集中的人脸图像样本输入STN空间变换网络,便可输出对齐后的人脸图像样本。
步骤S122:将对齐处理后的人脸图像样本输入所述ResNet深度残差网络,对所述人脸图像样本进行特征处理。
图4是本申请一实施例示出的一种ResNet36的结构示意图。参照图4,ResNet36(即:36-layer CNN)可以划分为4个阶段,包括:Conv1.x、Conv2.x、Conv3.x以及Conv4.x,其中每个阶段包括多个卷积操作和池化操作,经过4个阶段的处理以后,通过一个全连接层整合,最后输出512维的人脸编码特征向量。ResNet36中各个阶段的具体训练过程可参考相关技术,在此不作赘述。
举例来讲,将120*120的人脸图像输入STN-ResNet网络模型后,通过STN空间变换网络可以得到96*96的人脸图像,通过ResNet36可以得到512维的人脸编码特征向量。
步骤S123:采用所述目标损失函数对所述STN-ResNet网络模型进行训练。
在本申请中,目标损失函数包括:Arcface Loss损失函数和Focal Loss损失函数。
Arcface Loss基于传统的Softmax Loss改进得到,能有效地增强类内聚合性以及增大类间可分离性。Focal Loss基于交叉熵损失函数改进得到,可降低大量简单的负样本在模型训练过程中所占的权重,从而克服STN-ResNet网络模型训练过程中正负样本比例失衡的问题。
本申请将上述Arcface Loss和Focal Loss结合作为目标函数,不断对STN-ResNet网络模型进行训练,直至收敛,得到最终的人脸编码特征向量生成模型。
进一步地,在本申请中,ResNet深度残差网络中还设置有SE(Squeeze AndExcitation Network)网络模块,用于通过Squeeze操作和Excitation操作调整STN-ResNet网络模型中的特征通道的权重。
在本申请中,STN-ResNet网络模型中包括多层神经网络,在利用人脸图像样本对STN-ResNet网络模型进行训练时,由于SE网络模块,上一层神经网络输出的特征在输入到下一层神经网络时,会分为两条线路,第一条线路用于直接将特征输入到下一层神经网络,第二条线路则进行如下操作:首先通过Squeeze(Global Average Pooling)操作,把每个通道的2维的特征压缩成一个1维的特征,从而得到一个特征通道向量;然后进行Excitation操作,把得到的特征通道向量输入两个全连接层和Sigmoid,建模出特征通道间的相关性,进而得到每个特征通道对应的权重;最后把每个特征通道对应的权重通过Scale乘法通道加权到第一条线路上,从而完成特征通道的权重分配,本申请通过对STN-ResNet网络模型中的特征通道的权重分配,提升训练过程中对提高人脸识别精度影响较大的特征的权重,并抑制训练过程中对提高人脸识别精度影响较弱的特征的权重,能显著提高STN-ResNet网络模型的训练速度。
本申请实施例将STN空间变换网络与ResNet深度残差网络充分结合,利用两者的特点巧妙地设计出STN-ResNet网络模型,使得STN-ResNet网络模型能同时对输入的人脸图像样本进行对齐处理与特征编码,具体地,采用STN空间变换网络对输入的人脸图像样本进行对齐处理,采用ResNet深度残差网络对对齐处理后的人脸图像样本进行人脸特征编码,将人脸对齐处理过程与人脸特征编码处理过程集中在一个神经网络架构(即:STN-ResNet网络模型)中,利用端到端联合训练带来的增益简化了相关技术中采用两个单独的网络模块(例如:背景技术中的人脸对齐模块和人脸特征编码模块)分别对人脸图像样本进行处理的流程,显著地提高了STN-ResNet网络模型的训练速度。
此外,本申请采用ResNet36作为ResNet深度残差网络,利用残差单元能够消除梯度弥散的特点,极大地提升了模型训练过程中的收敛速率和收敛效果,同时,在模型训练过程中采用了Arcface Loss和Focal Loss结合所得到的目标损失函数,一方面增强了类内聚合性,增大了类间可分离性,另一方面降低了大量简单的负样本在模型训练过程中所占的权重,提高了人脸编码特征向量的精度。因此,当基于该STN-ResNet网络模型训练得到的人脸编码特征向量生成模型运用到人脸识别中时,不仅能提高人脸识别的速度,而且能提升人脸识别的精度,在对自然场景中的非正脸的人脸图像进行识别时,本申请提升人脸识别的精度的效果尤为显著。
在通过上述步骤训练得到人脸编码特征向量生成模型之后,便可以利用该人脸编码特征向量生成模型实现本申请提供的人脸识别方法。图5是本申请一实施例示出的一种人脸识别方法的流程图。参照图5,本申请的人脸识别方法包括以下步骤:
步骤S21:获取待识别人脸图像;
步骤S22:将所述待识别人脸图像输入人脸编码特征向量生成模型,得到所述待识别人脸图像的人脸编码特征向量,所述人脸编码特征向量生成模型是利用人脸图像样本集对STN-ResNet网络模型进行训练得到的,所述STN-ResNet网络模型包括STN空间变换网络和ResNet深度残差网络;
步骤S23:基于所述人脸编码特征向量进行人脸识别,得到所述待识别人脸图像的人脸识别结果。
在本实施例中,图像检测模块提取出所有包含有人脸图像的图像样本,作为待识别人脸图像,输入人脸编码特征向量生成模型;人脸编码特征向量生成模型根据该人脸图像生成人脸编码特征向量,然后输入特征比对模型;特征比对模型将该人脸编码特征向量与数据库中存储的多个人脸编码特征向量进行特征比对,得到匹配成功的目标人脸编码特征向量,进一步根据该目标人脸编码特征向量得到识别结果。示例地,数据库中预先存储有各人脸编码特征向量及其对应的信息,在得到与待识别人脸图像匹配的目标人脸编码特征向量之后,便可得到该目标人脸编码特征向量对应的信息。
本申请实施例提供了基于人脸编码特征向量生成模型实现的人脸识别方法,该人脸编码特征向量生成模型是预先利用人脸图像样本集对STN-ResNet网络模型进行训练得到的,STN-ResNet网络模型一方面结合了STN空间变换网络在矫正图像方面的优势和ResNet深度残差网络在消除梯度弥散方面的优势,同时将具有自动调整特征通道权重的功能的SE网络模块嵌入ResNet深度残差网络,另一方面且在训练过程中将Arcface Loss和Focal Loss结合作为目标损失函数,因此,通过基于STN-ResNet网络模型训练得到的人脸编码特征向量生成模型,不仅能提高人脸识别速度,同时还能提升人脸识别的精度,在对自然场景中的非正脸的人脸图像进行识别时,本申请提升人脸识别的精度的效果尤为显著。
在本申请中,在将人脸图像样本集中的人脸图像样本输入STN-ResNet网络模型之前,本申请的人脸识别方法还包括以下步骤:
获取人脸图像样本集;
对所述人脸图像样本集进行预处理。
具体地,对人脸图像样本集进行预处理的过程可以包括:
对所述人脸图像样本集进行类内清洗和类间清洗;
将清洗后的人脸图像样本集中的人脸图像样本调整到预设尺寸。
在本实施例中,人脸图像样本集可以是开源的人脸识别数据集,例如:VGGface2、Mscelebv1、Imdbface、Umdface、Webface、Celeba等,还可以是其它搜集得到的人脸数据集,本申请实施例对人脸图像样本集的获取渠道不作具体限制。
在得到人脸图像样本集以后,可以通过预先训练好的,或者已有的人脸识别模型对人脸图像样本集进行预处理,具体包括:数据清洗和尺寸调整。数据清洗包括类内清洗和类间清洗,通过类内清洗可以去除一个类别中不属于该类别的人脸图像;通过类间清洗可以将多个相同的人脸图像合并到一个类别中。
尺寸调整是指将人脸图像样本的尺寸调整到模型训练所需要的尺寸,例如在本申请中,统一将清洗后的所有的人脸图像样本的尺寸调整到120*120,然后作为STN-ResNet网络模型训练时使用的人脸图像样本。
在本申请中,在将人脸图像样本集中的人脸图像样本输入STN-ResNet网络模型之后,还可以执行以下步骤:
对所述人脸图像样本集中的人脸图像样本进行样本增强操作,所述样本增强操作包括以下至少一种:增强颜色空间、增强随机剪切、增强左右镜像以及增强透视变换。
在此基础上,采用目标损失函数对所述STN-ResNet网络模型进行训练,包括:
利用进行样本增强操作后的人脸图像样本,采用目标损失函数对所述STN-ResNet网络模型进行训练。
在本申请实施例中,对人脸图像样本进行样本增强操作能提高人脸图像样本集中的人脸图像样本的丰富性,例如:针对一个人脸图像样本,依次增强颜色空间、增强随机剪切、增强左右镜像以及增强透视变换,可以得到多个不同的人脸图像样本。
本实施例通过对人脸图像样本进行样本增强操作,丰富了STN-ResNet网络模型训练过程中使用的人脸图像样本的丰富性,提高了人脸编码特征向量生成模型输出的人脸编码特征向量的精度,从而提升了基于人脸编码特征向量生成模型实现的人脸识别方法的识别精度,在对自然场景中的非正脸的人脸图像进行识别时,本申请提升人脸识别的精度的效果尤为显著。
本申请还提供了一种人脸识别装置600。图6是本申请一实施例示出的一种人脸识别装置的结构示意图。参照图6,人脸识别装置600包括:
获取模块601,用于获取待识别人脸图像;
输入模块602,用于将所述待识别人脸图像输入人脸编码特征向量生成模型,得到所述待识别人脸图像的人脸编码特征向量,所述人脸编码特征向量生成模型是利用人脸图像样本集对STN-ResNet网络模型进行训练得到的,所述STN-ResNet网络模型包括STN空间变换网络和ResNet深度残差网络;
识别模块603,用于基于所述人脸编码特征向量进行人脸识别,得到所述待识别人脸图像的人脸识别结果。
可选地,人脸识别装置600还包括:
模型搭建模块,用于采用TensorFlow框架搭建所述STN-ResNet网络模型;
模型训练模块,用于将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型,采用目标损失函数对所述STN-ResNet网络模型进行训练,直至收敛,得到所述人脸编码特征向量生成模型,其中,所述目标损失函数包括:Arcface Loss损失函数和Focal Loss损失函数。
可选地,所述模型训练模块包括:
人脸对齐模块,用于将所述人脸图像样本集中的人脸图像样本输入所述STN空间变换网络,对所述人脸图像样本进行对齐处理;
特征处理模块,用于将对齐处理后的人脸图像样本输入所述ResNet深度残差网络,对所述人脸图像样本进行特征处理;
第一训练模块,用于采用所述目标损失函数对所述STN-ResNet网络模型进行训练。
可选地,人脸识别装置600还包括:
样本增强模块,用于对所述人脸图像样本集中的人脸图像样本进行样本增强操作,所述样本增强操作包括以下至少一种:增强颜色空间、增强随机剪切、增强左右镜像以及增强透视变换;
所述模型训练模块包括:
第二训练模块,用于利用进行样本增强操作后的人脸图像样本,采用目标损失函数对所述STN-ResNet网络模型进行训练。
可选地,人脸识别装置600还包括:
样本获取模块,用于获取人脸图像样本集;
样本预处理模块,用于对所述人脸图像样本集进行预处理;
所述样本预处理模块包括:
清洗模块,用于对所述人脸图像样本集进行类内清洗和类间清洗;
调整模块,用于将清洗后的人脸图像样本集中的人脸图像样本调整到预设尺寸。
可选地,所述ResNet深度残差网络模块中设置有SE网络模块,所述SE网络模块通过Squeeze操作和Excitation操作调整所述STN-ResNet网络模型中的特征通道的权重。
基于同一发明构思,本申请另一实施例提供一种电子设备700,如图7所示。图7是本申请一实施例示出的一种电子设备的示意图。该电子设备包括存储器702、处理器701及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现本申请上述任一实施例所述的方法中的步骤。
基于同一发明构思,本申请另一实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请上述任一实施例所述的方法中的步骤。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种人脸识别方法、装置、电子设备及存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种人脸识别方法,其特征在于,所述方法包括:
获取待识别人脸图像;
将所述待识别人脸图像输入人脸编码特征向量生成模型,得到所述待识别人脸图像的人脸编码特征向量,所述人脸编码特征向量生成模型是利用人脸图像样本集对STN-ResNet网络模型进行训练得到的,所述STN-ResNet网络模型包括STN空间变换网络和ResNet深度残差网络;
基于所述人脸编码特征向量进行人脸识别,得到所述待识别人脸图像的人脸识别结果。
2.根据权利要求1所述的方法,其特征在于,在将所述待识别人脸图像输入人脸编码特征向量生成模型,得到所述待识别人脸图像的人脸编码特征向量之前,所述方法还包括:
采用TensorFlow框架搭建所述STN-ResNet网络模型;
将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型,采用目标损失函数对所述STN-ResNet网络模型进行训练,直至收敛,得到所述人脸编码特征向量生成模型,其中,所述目标损失函数包括:Arcface Loss损失函数和Focal Loss损失函数。
3.根据权利要求2所述的方法,其特征在于,将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型,采用目标损失函数对所述STN-ResNet网络模型进行训练,包括:
将所述人脸图像样本集中的人脸图像样本输入所述STN空间变换网络,对所述人脸图像样本进行对齐处理;
将对齐处理后的人脸图像样本输入所述ResNet深度残差网络,对所述人脸图像样本进行特征处理;
采用所述目标损失函数对所述STN-ResNet网络模型进行训练。
4.根据权利要求2所述的方法,其特征在于,在将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型之后,所述方法还包括:
对所述人脸图像样本集中的人脸图像样本进行样本增强操作,所述样本增强操作包括以下至少一种:增强颜色空间、增强随机剪切、增强左右镜像以及增强透视变换;
采用目标损失函数对所述STN-ResNet网络模型进行训练,包括:
利用进行样本增强操作后的人脸图像样本,采用目标损失函数对所述STN-ResNet网络模型进行训练。
5.根据权利要求4所述的方法,其特征在于,在将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型之前,所述方法还包括:
获取人脸图像样本集;
对所述人脸图像样本集进行预处理,包括:
对所述人脸图像样本集进行类内清洗和类间清洗;
将清洗后的人脸图像样本集中的人脸图像样本调整到预设尺寸。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述ResNet深度残差网络模块中设置有SE网络模块,所述SE网络模块通过Squeeze操作和Excitation操作调整所述STN-ResNet网络模型中的特征通道的权重。
7.一种人脸识别装置,其特征在于,所述装置包括:
获取模块,用于获取待识别人脸图像;
输入模块,用于将所述待识别人脸图像输入人脸编码特征向量生成模型,得到所述待识别人脸图像的人脸编码特征向量,所述人脸编码特征向量生成模型是利用人脸图像样本集对STN-ResNet网络模型进行训练得到的,所述STN-ResNet网络模型包括STN空间变换网络和ResNet深度残差网络;
识别模块,用于基于所述人脸编码特征向量进行人脸识别,得到所述待识别人脸图像的人脸识别结果。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
模型搭建模块,用于采用TensorFlow框架搭建所述STN-ResNet网络模型;
模型训练模块,用于将所述人脸图像样本集中的人脸图像样本输入所述STN-ResNet网络模型,采用目标损失函数对所述STN-ResNet网络模型进行训练,直至收敛,得到所述人脸编码特征向量生成模型,其中,所述目标损失函数包括:Arcface Loss损失函数和FocalLoss损失函数。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行时实现如权利要求1-6任一所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6任一所述的方法中的步骤。
CN201910779709.9A 2019-08-22 2019-08-22 一种人脸识别方法、装置、电子设备及存储介质 Active CN110659573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910779709.9A CN110659573B (zh) 2019-08-22 2019-08-22 一种人脸识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910779709.9A CN110659573B (zh) 2019-08-22 2019-08-22 一种人脸识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110659573A true CN110659573A (zh) 2020-01-07
CN110659573B CN110659573B (zh) 2021-03-09

Family

ID=69037695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910779709.9A Active CN110659573B (zh) 2019-08-22 2019-08-22 一种人脸识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110659573B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259814A (zh) * 2020-01-17 2020-06-09 杭州涂鸦信息技术有限公司 一种活体检测方法及系统
CN111709313A (zh) * 2020-05-27 2020-09-25 杭州电子科技大学 基于局部和通道组合特征的行人重识别方法
CN111898465A (zh) * 2020-07-08 2020-11-06 北京捷通华声科技股份有限公司 一种人脸识别模型的获取方法和装置
CN111967529A (zh) * 2020-08-27 2020-11-20 杭州海康威视数字技术股份有限公司 识别方法、装置、设备及系统
CN112001372A (zh) * 2020-09-30 2020-11-27 苏州科达科技股份有限公司 人脸识别模型生成和人脸识别方法、系统、设备及介质
CN112052792A (zh) * 2020-09-04 2020-12-08 恒睿(重庆)人工智能技术研究院有限公司 一种跨模型人脸识别方法、装置、设备及介质
CN112784677A (zh) * 2020-12-04 2021-05-11 上海芯翌智能科技有限公司 模型训练方法及装置、存储介质、计算设备
CN112818967A (zh) * 2021-04-16 2021-05-18 杭州魔点科技有限公司 基于人脸识别和头肩重识别的儿童身份识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358038A1 (en) * 2015-06-05 2016-12-08 Google Inc. Spatial transformer modules
TW201816755A (zh) * 2016-08-04 2018-05-01 瑞鼎科技股份有限公司 顯示裝置及其驅動電路
CN108229474A (zh) * 2017-12-29 2018-06-29 北京旷视科技有限公司 车牌识别方法、装置及电子设备
CN109241995A (zh) * 2018-08-01 2019-01-18 中国计量大学 一种基于改进型ArcFace损失函数的图像识别方法
CN109800806A (zh) * 2019-01-14 2019-05-24 中山大学 一种基于深度学习的农作物病害检测算法
CN109858362A (zh) * 2018-12-28 2019-06-07 浙江工业大学 一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法
CN109886077A (zh) * 2018-12-28 2019-06-14 北京旷视科技有限公司 图像识别方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358038A1 (en) * 2015-06-05 2016-12-08 Google Inc. Spatial transformer modules
TW201816755A (zh) * 2016-08-04 2018-05-01 瑞鼎科技股份有限公司 顯示裝置及其驅動電路
CN108229474A (zh) * 2017-12-29 2018-06-29 北京旷视科技有限公司 车牌识别方法、装置及电子设备
CN109241995A (zh) * 2018-08-01 2019-01-18 中国计量大学 一种基于改进型ArcFace损失函数的图像识别方法
CN109858362A (zh) * 2018-12-28 2019-06-07 浙江工业大学 一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法
CN109886077A (zh) * 2018-12-28 2019-06-14 北京旷视科技有限公司 图像识别方法、装置、计算机设备和存储介质
CN109800806A (zh) * 2019-01-14 2019-05-24 中山大学 一种基于深度学习的农作物病害检测算法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ZHIWEI LIU等: "Learning Discriminative and Complementary Patches for Face Recognition", 《2019 4TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE &GESTURE RECOGNITION》 *
宋万女: "《信息技术应用研究》", 31 May 2018 *
张枫等: "基于残差网络与中心损失的人脸识别", 《计算机工程与设计》 *
徐中辉等: "基于卷积神经网络的图像着色", 《电子技术应用》 *
狄 岚等: "基于可能性聚类和卷积神经网络的道路交通标识识别算法", 《南京大学学报(自然科学)》 *
赵文忠: "人脸识别中的损失函数", 《电子技术与软件工程》 *
陈敏: "《认知计算导论》", 31 May 2017 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259814A (zh) * 2020-01-17 2020-06-09 杭州涂鸦信息技术有限公司 一种活体检测方法及系统
CN111259814B (zh) * 2020-01-17 2023-10-31 杭州涂鸦信息技术有限公司 一种活体检测方法及系统
CN111709313B (zh) * 2020-05-27 2022-07-29 杭州电子科技大学 基于局部和通道组合特征的行人重识别方法
CN111709313A (zh) * 2020-05-27 2020-09-25 杭州电子科技大学 基于局部和通道组合特征的行人重识别方法
CN111898465A (zh) * 2020-07-08 2020-11-06 北京捷通华声科技股份有限公司 一种人脸识别模型的获取方法和装置
CN111898465B (zh) * 2020-07-08 2024-05-14 北京捷通华声科技股份有限公司 一种人脸识别模型的获取方法和装置
CN111967529A (zh) * 2020-08-27 2020-11-20 杭州海康威视数字技术股份有限公司 识别方法、装置、设备及系统
CN111967529B (zh) * 2020-08-27 2023-09-05 杭州海康威视数字技术股份有限公司 识别方法、装置、设备及系统
CN112052792B (zh) * 2020-09-04 2022-04-26 恒睿(重庆)人工智能技术研究院有限公司 一种跨模型人脸识别方法、装置、设备及介质
CN112052792A (zh) * 2020-09-04 2020-12-08 恒睿(重庆)人工智能技术研究院有限公司 一种跨模型人脸识别方法、装置、设备及介质
CN112001372B (zh) * 2020-09-30 2023-02-03 苏州科达科技股份有限公司 人脸识别模型生成和人脸识别方法、系统、设备及介质
CN112001372A (zh) * 2020-09-30 2020-11-27 苏州科达科技股份有限公司 人脸识别模型生成和人脸识别方法、系统、设备及介质
CN112784677A (zh) * 2020-12-04 2021-05-11 上海芯翌智能科技有限公司 模型训练方法及装置、存储介质、计算设备
CN112818967A (zh) * 2021-04-16 2021-05-18 杭州魔点科技有限公司 基于人脸识别和头肩重识别的儿童身份识别方法

Also Published As

Publication number Publication date
CN110659573B (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN110659573B (zh) 一种人脸识别方法、装置、电子设备及存储介质
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN108961220B (zh) 一种基于多层卷积特征融合的图像协同显著性检测方法
CN111814661A (zh) 基于残差-循环神经网络的人体行为识别方法
CN112149459A (zh) 一种基于交叉注意力机制的视频显著性物体检测模型及系统
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN112036260B (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN110674741A (zh) 一种基于双通道特征融合的机器视觉中手势识别方法
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
Liu et al. Psgan++: Robust detail-preserving makeup transfer and removal
CN112258625B (zh) 基于注意力机制的单幅图像到三维点云模型重建方法及系统
CN112184582B (zh) 一种基于注意力机制的图像补全方法及装置
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及系统
CN109766918A (zh) 基于多层次上下文信息融合的显著性物体检测方法
CN114548274A (zh) 一种基于多模态交互的谣言检测方法及系统
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN113822114A (zh) 一种图像处理方法、相关设备及计算机可读存储介质
CN115171052B (zh) 基于高分辨率上下文网络的拥挤人群姿态估计方法
CN116485943A (zh) 图像生成方法、电子设备及存储介质
CN114187668B (zh) 一种基于正样本训练的人脸静默活体检测方法及装置
CN115719497A (zh) 一种学生专注度识别方法及系统
CN109814716A (zh) 一种基于动态表面肌电信号的运动意图解码方法
Tran et al. Predicting Media Memorability Using Deep Features with Attention and Recurrent Network.
CN113569886A (zh) 网络结构调整方法、装置和存储介质及电子设备
CN110826726A (zh) 目标处理方法、目标处理装置、目标处理设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant