CN110781829A - 一种轻量级深度学习的智慧营业厅人脸识别方法 - Google Patents

一种轻量级深度学习的智慧营业厅人脸识别方法 Download PDF

Info

Publication number
CN110781829A
CN110781829A CN201911027483.3A CN201911027483A CN110781829A CN 110781829 A CN110781829 A CN 110781829A CN 201911027483 A CN201911027483 A CN 201911027483A CN 110781829 A CN110781829 A CN 110781829A
Authority
CN
China
Prior art keywords
model
face recognition
face
training
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911027483.3A
Other languages
English (en)
Inventor
吴克河
邓春宇
陈祖歌
王昱颖
陈观澜
莫蓓蓓
李为
谢云澄
李渊博
王敏鉴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN201911027483.3A priority Critical patent/CN110781829A/zh
Publication of CN110781829A publication Critical patent/CN110781829A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种轻量级深度学习的智慧营业厅人脸识别方法,包括如下步骤:数据预处理:在采集的图像中,检测到人脸区域,然后把该区域输入人脸识别网络;人脸识别模型设计;模型训练:学习区分人脸的特征,基于经过数据预处理的人脸训练数据集,通过多次迭代,逐步调整网络的权重参数,最终得到性能良好的人脸识别模型;模型测试。本发明解决了传统营业厅业务办理模式,通过基于深度学习的人脸识别模式,可以通过分析用户消费信息,主动为用户提供潜在业务推荐,实现客户的精准营销,同时智能地为客户提供业务办理引导,极大地改善了用户体验及业务办理人员工作效率;在保证模型识别精度的情况下,大大降低模型规模,实现了移动端的人脸识别。

Description

一种轻量级深度学习的智慧营业厅人脸识别方法
技术领域
本发明涉及一种轻量级深度学习的智慧营业厅人脸识别方法,属于深度学习、机器学习和人脸识别领域。
背景技术
随着深度学习技术的发展,人工智能浪潮也对人们的衣食住行产生了很大的影响,如自动驾驶、智能巡检机器人、智能客服等,技术的发展带来了生活的便利,大大减少了人工工作量。中国移动营业厅每天会有大量的客流量,并且每个用户需要办理的业务不尽相同,此外,用户在不清楚每个窗口办理的业务的情况下会随机选择一个窗口进行排队,如果该窗口不能办理该业务,则需要重新去其它窗口进行排队,这样就造成了用户时间的大量浪费,降低了客户体验。如果每个窗口的每个工作人员都可以办理所有业务,这样虽然减少了客户等待时间,但是对业务办理人员的要求就大大提高,如果业务人员不能非常清楚所有的业务办理流程,则可能出现业务办理出错的情况,同样会给用户带来不好的体验。因此营业厅按照特定窗口办理专项业务,同时由导航员根据客户需求引导到指定窗口是一种有效的模式,但是过大的客流量会给引导员带来繁重琐碎的任务。因此可以由“智能导航员”完成该工作。“智能导航员”可以通过人脸识别技术识别顾客身份,如果顾客未在数据库中,则引导客户至新业务办理窗口;如果顾客在数据库中,则根据客户的消费数据分析客户潜在需求,并予以推荐,如果推荐业务未在客户需求范围内,则可由客户说出需求,采用语音识别技术分析并推荐客户至相关窗口。“智能导航员”涉及多种人工智能技术,其中人脸识别是重要的组成之一。
人脸识别属于生物识别技术,是通过人的脸部特征信息来实现身份识别。人脸识别算法一般分为四类:基于子空间的方法、基于几何特征的方法、基于稀疏表示的方法、基于传统机器学习的方法以及基于深度学习的方法。基于子空间的方法是把高维的人脸图像数据通过一定的方式映射到一个地位的子空间进行识别,该方法实现了数据的降维,减少了计算量,而且还可以消除遮挡、姿势、光照等因素的变化带来的影响,提高了识别效率,例如Eigenface方法和Fisherface方法。基于几何特征的方法则是提取人脸上的关键点如眉、眼、鼻子和嘴巴等,因此根据这些关键点的分布以及关键点的几何距离作为特征进行识别,如Kanade算法,该方法思想直观、识别速度快,但是该方法忽略了一些细节信息,所以算法的精度不高。基于稀疏表示的方法假设人脸图像可由数据库中的图像经过线性组合进行表示,组合权值为稀疏向量,如Wright算法,但是该方法需要输入严格对齐,因此使用效果不佳。基于传统机器学习的人脸识别方法有很多,包括隐马尔可夫模型、神经网络、Adaboost以及支持向量机等,但是这些方法对人脸特征提取的要求较高,提取特征的好坏直接影响识别的精度。基于深度学习的人脸识别方法则是采用深度卷积神经网络代替手工设计特征进行特征提取,自动从输入图像中学习特征,这些特征体现了数据的真实分布,有效地提高了图像分类的性能,随着深度学习的发展,深度卷积神经网络在人脸识别领域也取得了最好的效果,其采用深度网络在大规模数据集上自动学习人脸特征,然后根据特征进行人脸识别,如DeepID、FaceNet等,虽然深度学习网络在测试集上取得了很高的精度,但是深度学习网络模型一般会有规模庞大的参数,深度学习在运行时需要占据很大的计算和存储资源,而移动端的存储能力和计算能力都是非常有限的,因此很难直接把PC端的深度学习模型应用到移动端。因此,构建高精度、小规模、低延迟的网络模型对于移动终端和嵌入式设备来说非常重要而又迫在眉睫。
发明内容
本发明提供一种轻量级深度学习的智慧营业厅人脸识别方法,实现了在移动端快速、高性能的人脸识别,参数、计算量小。
为解决上述技术问题,本发明所采用的技术方案如下:
一种轻量级深度学习的智慧营业厅人脸识别方法,包括如下步骤:
1)数据预处理:在采集的图像中,检测到人脸区域,然后把该区域输入人脸识别网络;
2)人脸识别模型设计:利用人脸识别网络进行人脸特征提取网络设计和人脸识别任务设计;
3)模型训练:学习区分人脸的特征,基于经过数据预处理的人脸训练数据集,通过多次迭代,逐步调整网络的权重参数,最终得到性能良好的人脸识别模型;
4)模型测试。
人脸识别属于生物识别技术,是通过人的脸部特征信息来实现身份识别。人脸识别任务需要先提取人脸特征进行人脸表示,传统方法一般采用手工设计特征的方式,但这种方式不仅需要设计者经验,而且主观性较强,难以体现数据分布的本质特征,很难获得泛化性能较好的模型。基于深度学习的人脸识别方法则是采用深度卷积神经网络代替手工设计特征进行特征提取,自动从输入图像中学习特征,这些特征体现了数据的真实分布,有效地提高了图像分类的性能。但是深度学习网络模型一般会有规模庞大的参数,并占据很大的存储资源,而移动端的存储能力和计算能力都是非常有限的,因此很难直接把PC端的深度学习模型应用到移动端。本申请则构建了一种高精度、小规模、低延迟的网络模型用于移动终端和嵌入式设备,实现了在移动端快速、高性能的人脸识别。
上述步骤1)中,数据预处理包括样本图像的采集和采集图像的预处理。
样本图像的采集:本项目在实际应用中,需要通过各个营业厅安装的摄像头采集图像;在模型训练过程中,样本图像则来源于开源数据集ORL数据集和CASIA-Web Face数据集;采集图像的预处理:此步骤是使用MTCNN网络进行人脸检测对齐,并将其大小调整为网络模型输入所需要的大小,输入人脸识别网络。人脸检测的目的是在含有人脸的图片中将人脸区域检测出来(通过人脸的关键点来检测),去除图片背景以及其他噪声的对于人脸的影响。人脸对齐就是对面部的关键点进行检测定位并使人脸变正的过程。人脸关键点检测是以人脸检测为基础继续进行的,常用的关键点有5个,包括2个眼瞳、鼻子和2边嘴角。
步骤2)人脸识别模型设计包括人脸特征提取网络的设计和人脸识别损失函数的设计。特征提取网络决定了是否能够高效、充分地提取人脸的特征,与识别的精度、速度紧密相关;损失函数决定了特征提取网络的优化方向,只有设计合适的损失函数,才能使特征提取网络提取到易于区分人脸的特征。
步骤2)中,人脸特征提取网络设计:此步骤不再使用传统的人工设计人脸特征的方式进行模型学习,而是采用深度学习网络来自动提取人脸特征,但是考虑到移动端计算能力较弱,因此使用轻量级的深度学习网络Mobile Nets(人脸识别网络)来提取人脸特征,不仅可以提取自主提取有助于人脸识别的丰富特征信息,而且减少了特征提取过程的计算代价。该网络是通过改变相邻层之间卷积计算方式来达到减少模型参数的目的,在保证计算精度的情况下大大减小了计算代价,是一款非常适合用在移动端的特征提取网络。Mobile Nets采用可分离的卷积方式进行模型构建,深度可分离卷积把标准卷积层划分成了一个深度卷积和一个1*1卷积,深度卷积每个单输入通道先使用单个卷积核进行卷积,然后采用1*1卷积来融合深度卷积的输出,标准卷积则是一步对所有的输入进行卷积融合得到输出,因此深度可分离卷积把一步卷积操作分解成两步可以大量减少计算量和模型参数。
步骤2)中,人脸识别任务设计:人脸识别为1:N人脸识别,通过对比不同损失函数的优劣,选择Triplet Loss损失函数进行模型评价。
人脸识别任务一般分为1:N人脸识别和1:1人脸识别任务;1:N人脸识别任务是在人脸数据库中进行人脸比对来搜索人脸,判断数据库中是否存在该类人像,该任务为多分类任务;1:1人脸识别比对两张图片中的人脸是否为同一人,一般一张为存储在系统中的账户关联图像,一张为现场采集的图像,比如人脸支付、火车检票系统等,该任务为二分类任务。通过以上分析,则可判定智慧营业厅人脸识别属于1:N人脸识别任务,并且通过对比不同损失函数的优劣,选择Triplet Loss损失函数进行模型评价。
步骤3)中模型训练包括:模型超参数设置和模型训练,其中,模型超参数设置:特征提取网络和人脸识别任务设计后,需要通过模型的训练不断调整网络参数来提高人脸识别模型特征提取和分类的性能,根据每个批次样本的训练结果调整网络参数,使得模型最终朝着目标方向进行训练,逐步提高模型的性能;模型训练:特征提取网络和人脸识别任务设计后,需要通过模型的训练不断调整网络参数来提高人脸识别模型特征提取和分类的性能,根据每个批次样本的训练结果调整网络参数,使得模型最终朝着目标方向进行训练,逐步提高模型的性能
步骤4):模型测试:模型测试是用测试数据集来验证模型训练结果的优劣,如果训练数据集和测试数据集精确率都达到95%以上,则说明模型已经训练完成,结束本任务;如果训练数据集和测试数据集中任何一个的精确率低于95%,则重复步骤3,直至训练数据集和测试数据集精确率都达到95%以上。
本发明未提及的技术均参照现有技术。
本发明一种轻量级深度学习的智慧营业厅人脸识别方法,解决了传统营业厅业务办理模式,通过基于深度学习的人脸识别模式,可以通过分析用户消费信息,主动为用户提供潜在业务推荐,实现客户的精准营销,同时智能地为客户提供业务办理引导,极大地改善了用户体验及业务办理人员工作效率;由于基于深度学习的高性能识别算法不能直接应用在移动端运行,本发明提出了采用轻量级的深度学习网络MobileNets提取网络特征,并且采用Triplet Loss评价模型,可以在保证模型识别精度的情况下,大大降低模型规模,实现了移动端的人脸识别,在智慧营业厅的建设中具有重要意义;速度快、精度高、计算量小、低延迟。
附图说明
图1为本发明轻量级深度学习的智慧营业厅人脸识别方法;
图2为本发明基于MTCNN的人脸检测及对齐流程图;
图3为标准卷积(左)和深度可分离卷积(右)的模型流程图;
图4为标准卷积模型示意图;
图5为深度可分离卷积模型示意图。
具体实施方式
为了更好地理解本发明,下面结合实施例进一步阐明本发明的内容,但本发明的内容不仅仅局限于下面的实施例。
轻量级深度学习的智慧营业厅人脸识别方法,如图1所示,包括顺序相接的如下步骤:
步骤1.1):样本图像采集:在实际应用过程中,待检测的人脸图像采集通过各个营业厅安装的摄像头采集;在模型训练过程中,实验数据来自于开源数据集ORL数据集和CASIA-Web Face数据集。ORL人脸数据集是使用非常广泛的标准人脸数据集。该数据集由英国剑桥大学的Olivetti实验室,在1992.04-1994.04两年间拍摄的一系列人脸照片组成,其中共有40个人,这些人具有不同年龄、性别和种族,每个人由10张不同的黑色背景的黑白图片组成,这些人脸在面部细节、表情、大小和姿态上均有变化,数据集中共有400张图片,每张图像的尺寸大小为92×112。CASIA-Web Face数据集包含10575个对象和494414张图片,这些图片都是来自网上的名人照片。由于ORL数据集较小,因此我们又从CASIA-Web Face中选择了50个对象,每个对象对应100张照片,一起作为模型的训练数据和测试数据。
步骤1.2:图像预处理:人脸识别任务的图像预处理工作包括人脸检测及人脸对齐。传统的人脸检测和人脸对齐算法都是单独进行训练的,忽略了两个任务之间的关联性,MTCNN(Multi-task Cascaded Convolutional Network)则把两个任务进行联合训练,以通过俩个任务的固有联系提高模型的精度,是一个高效的准确度深度学习算法,目前已经成为人脸识别领域图像预处理工作的首选算法。MTCNN网络架构由三个子网络组成:P-Net(proposal network)、R-Net(refine network)、O-Net(output network),下面分别进行介绍:
1)P-Net:该网络是一个全卷积网络,全卷积网络可以进行多尺度的输入,提高样本的多样性。该网络是用来生成脸部候选框以及候选框的回归向量,回归向量用来校正候选框的位置,最后采用非极大值抑制(NMS:non maximum suppression)的方法筛除重复度较高的候选框;
2)R-Net:该网络被称为精炼网络(refine network),即是从P-Net生成的候选框中进行进一步的精选,进一步筛除大量的错误候选框。具体做法是根据P-Net的计算结果,筛选出置信度较高的候选框,根据候选框回归向量从原图中截取相应的图像区域,然后把截取的区域缩放至R-Net的输入大小,R-Net输出每个区域的置信度和回归向量,最后,采用NMS算法筛除重复度较高的候选框;
3)O-Net:该网络是最终结果的输出网络,最终结果包括人脸候选框的位置及关键点的位置,O-Net网络与R-Net网络的做法类似,其输入是基于R-Net的计算结果,筛选出置信度较高的候选框,根据候选框回归向量从原图中截取相应的图像区域,然后把截取的区域缩放至O-Net的输入大小进行网络训练,最终O-Net是输出也要采用NMS算法筛除重复度较高的候选框。
这三个网络是级联的,前面网络的输出是后面网络的输入,并且网络复杂度逐渐增加,以便逐步地得到更加精准的人脸检测和关键点位置。此外,人脸检测任务属于二分类任务,与其他多分类的目标检测任务相比,需要更少的滤波器数据即可达到较高的效果,因此在网络设计过程中,采用更少以及更小的卷积核进行特征提取,大大减少了计算代价,同时增加网络深度提高检测性能。基于MTCNN的人脸检测及对齐流程图如图2所示。
步骤2.1:特征提取网络设计:通过图像预处理操作之后,则已经从原始图像中提取到了人脸及人脸的五个关键点(2个眼瞳、鼻子和2边嘴角),特征提取网络则是对检测出的人脸进行特征提取,根据特征进行人脸的识别。传统的人工提取特征方式工作量大且存在特征提取不充分以及需要特征提取人员具有大量的先验经验等缺点,并且近些年深度学习在计算机视觉领域取得了巨大的成果,因此现在人脸特征的提取工作一般由深度卷积网络来完成。深度卷积神经网络可以端到端的提取特征,通过逐层卷积抽样,自动从输入图像中学习到表征能力很强的语义特征,这些特征是原始数据的抽象表示,有助于提高图像分类的性能。
但是由于深度卷积网络层数较深且卷积核个数较多,因此要求运算器具有较大的计算能力和存储能力,但是本发明是在移动端进行人脸识别,与PC端相比,其存储和计算资源有限,无法应用大规模深度网络进行识别,因此,亟需为移动端设备构建一个精度高、规模小、延迟低的深度学习网络。
本发明用轻量级深学习网络——Mobile Nets模型进行特征提取,该网络是通过改变相邻层之间卷积计算方式来达到减少模型参数的目的,在保证计算精度的情况下大大减小了计算代价,是一款非常适合用在移动端的特征提取网络。Mobile Nets采用可分离的卷积方式进行模型构建,深度可分离卷积把标准卷积层划分成了一个深度卷积和一个1*1卷积,深度卷积每个单输入通道先使用单个卷积核进行卷积,然后采用1*1卷积来融合深度卷积的输出,标准卷积则是一步对所有的输入进行卷积融合得到输出,因此深度可分离卷积把一步卷积操作分解成两步可以大量减少计算量和模型参数。标准卷积和深度可分离卷积的模型流程图如图3所示。
标准卷积模型的示意图如图4所示,深度可分离卷积示意图如图5所示。
那么相同大小的输入特征图经过不同卷积方式得到相同大小的输出特征图所需的计算量的对比结果如下:设输入为Df*Df*M,输出为Dg*Dg*N,其中Df、Dg分别为输入、输出特征图的宽和高,M、N分别为输入、输出特征图的通道数,在标准卷积过程中,卷积核的参数个数为Dk*Dk*M*N,其中Dk为卷积核的宽和高,M、N即是上述描述的输入、输出通道数,因此标准卷积的计算量为:
Dk*Dk*M*N*Dg*Dg
而对深度可分离卷积方式来说,卷积过程分成了深度卷积和1*1卷积,在深度卷积过程中,一个卷积核只是对输入的每个通道进行卷积,并未像标准卷积那样对卷积后特征进行组合,而是采用N个1*1的卷积核对深度卷积的输出进行线性组合得到网络的最终输出Dg*Dg*N,因此深度可分离卷积的计算量是深度卷积和1*1卷积的计算量之和,其中深度卷积的计算量为:
Dk*Dk*M*Dg*Dg
1*1卷积的计算量为:
1*1*M*N*Dg*Dg
因此,深度可分离卷积过程的计算量为:
Dk*Dk*M*Dg*Dg+1*1*M*N*Dg*Dg
因此深度可分离卷积和标准卷积的计算量比值为:
(Dk*Dk*M*Dg*Dg+1*1*M*N*Dg*Dg)/Dk*Dk*M*N*Dg*Dg=1/N+1/(Dk)2
从两种卷积方式的计算量的比值可以看出,深度可分离卷积在相同的输入、输出的情况下可以大大减少计算量、参数量,降低了模型的计算需求和存储需求,因此MobileNets是一种非常适合应用在移动端的人脸特征提取网络。
步骤2.2:人脸识别任务设计:从20世纪50年代起,人脸识别就成为了人们广泛关注的领域,最初是基于人脸几何结构特征进行识别,后来发展到基于建模方法和局部特征描述子进行识别,随着深度学习的强势发展,目前人脸识别领域多采用深度学习方法。在基于深度学习的人脸识别方法中,与其他深度学习应用领域不同的是,损失函数是人脸识别算法精度的关键,它指导了网络的优化方向。在人脸识别中,每个人都是一个单独的类别,因此可能直观地会认为人脸识别是一个多分类任务,但是一般分类算法类别较少,而且每个类别的样本数远远大于类别数,而人脸数据集包含的人(类别)较多,但是每个人(类别)的样本却较少,此外训练集无法包含所有人,测试集很可能会出现训练集中未出现过的人(类别)。因此,需要把人脸识别问题转换成距离度量的问题,基于提取到的样本特征计算样本之间的距离,从而实现确定人物身份的目的,比较常用的损失函数有Contrastive Loss和Triplet Loss。
1、Contrastive Loss
Chopra于2005年提出用Contrastive Loss来解决人脸验证/识别问题,该损失函数的训练思路是从人脸数据集选取多组人脸对,构成人脸二元组训练集,人脸二元组分为两种情况:属于同一个人,标签为0;属于不同的人,标签为1。假设I是训练样本集合,X1和X2表示人脸对,G(X1)和G(X2)分别表示人脸对提取到的特征,Y为为人脸对的标签。则人脸对的特征之间的欧氏距离Dw为:
Figure BDA0002249113640000083
Contrastive Loss计算公式为:
Figure BDA0002249113640000081
Figure BDA0002249113640000084
其中(Y,X1,X2)i表示第i个训练样本对,Ls表示类内样本对的损失函数,该函数应该为一个单递增函数,即随着特征距离的增大,类内损失加大,LD表示类间样本对的损失函数,该函数应为单调递减函数,随着特征间距离的增大,类间损失减小,P表示训练对个数,W表示网络权值参数,Ls和LD可以共同优化网络参数W,以减少类内距离,增大类间距离,最终目标是降低L(W,(Y,X1,X2)i)。
2、Triplet Loss
Triplet Loss是FaceNet提出损失函数,与Contrastive loss不同的是,Triplet输入是人脸三元组,三元组的构建机制是:首先随机从某个人照片中选择一张,称为Anchor,再选择该人的另一张照片,称为Positive,再随机选择一张其他人的照片,称为Negative,Anchor、Positive、Negative构成了图像的三元组,作为网络的输入。TripletLoss的设计原则是类内距离要小于类间距离,这样才能更好地区分不通人脸,其计算公式如下:
Figure BDA0002249113640000082
其中
Figure BDA0002249113640000091
分别代表第i个样本的anchor、positive、negative,
Figure BDA0002249113640000092
分别代表其对应的特征。[]中的值大于0时,损失函数等于该值,小于0时,损失函数为0。a是超参数,表示anchor和negative之间的特征距离与anchor和positive之间的特征距离的差值大于该值。
人脸识别任务是一个基于非常相似的样本进行分类的任务,因此该任务不仅要保证类间距离较大、类内距离较小,而且需要保证类间距离大于类内距离,这样才能使类内更紧凑、类间更分离,有助于在微小差异的特征上实现正确分类的目的,因此本发明采用TripletLoss进行人脸识别任务的学习,整体的人脸识别网络的模型是Mobile Nets+Triplet Loss,此处,需要删除原始MobileNets网络最后一层分类层,然后添加一个输出大小为128的全连接层,然后计算三元组的全连接层特征向量的L2距离,根据Triplet Loss计算模型的损失函数,从而更新网络参数的权重。
步骤3.1:模型超参数设置:模型训练环境为Nvidia 1080Ti显卡,显存为11G,BatchSize为64,初始学习率为0.01,学习率随着训练次数的增加逐步衰减,迭代次数为1200000次,优化算法为SGD,Triplet Loss公式中的a为1。
步骤3.2:模型训练:在模型初始化参数设置完毕后,就可以把预处理之后的训练数据输入模型进行训练,当模型误差满足预设值或达到最大训练周期时结束训练。
步骤4:模型测试:模型经过在训练集上的多次训练后(步骤3.2),在测试集上进行测试,在智慧营业厅的人脸识别任务中,通过计算系统内人员识别是否准确来计算精确率,系统内人员识别为正确身份时结果为对,若识别为系统其它人或识别为非系统内部人,均为识别错误,非系统内人员识别为非系统人员是结果准确,识别为系统人员为结果错误,依据该评价准则,在本任务中,训练数据集和测试数据集精确率均达96.8%以上,证明了本发明的准确性和可用性。

Claims (7)

1.一种轻量级深度学习的智慧营业厅人脸识别方法,其特征在于:包括如下步骤:
1)数据预处理:在采集的图像中,检测到人脸区域,然后把该区域输入人脸识别网络;
2)人脸识别模型设计:利用人脸识别网络进行人脸特征提取网络设计和人脸识别任务设计;
3)模型训练:学习区分人脸的特征,基于经过数据预处理的人脸训练数据集,通过多次迭代,逐步调整网络的权重参数,得到人脸识别模型;
4)模型测试。
2.如权利要求1所述的轻量级深度学习的智慧营业厅人脸识别方法,其特征在于:步骤1)中,数据预处理包括样本图像的采集和采集图像的预处理,其中,样本图像的采集为:通过各个营业厅安装的摄像头采集图像;在模型训练过程中,样本图像则来源于开源数据集ORL数据集和CASIA-Web Face数据集;采集图像的预处理为:使用MTCNN网络进行人脸检测对齐,并将其大小调整为人脸识别网络输入所需要的大小,输入人脸识别网络。
3.如权利要求1或2所述的轻量级深度学习的智慧营业厅人脸识别方法,其特征在于:步骤2)中,采用轻量级的深度学习网络Mobile Nets来提取人脸特征。
4.如权利要求3所述的轻量级深度学习的智慧营业厅人脸识别方法,其特征在于:Mobile Nets采用可分离的卷积方式进行模型构建,深度可分离卷积把标准卷积层划分成了一个深度卷积和一个1*1卷积,深度卷积每个单输入通道先使用单个卷积核进行卷积,然后采用1*1卷积来融合深度卷积的输出。
5.如权利要求1或2所述的轻量级深度学习的智慧营业厅人脸识别方法,其特征在于:步骤2)中,人脸识别任务设计:人脸识别为1:N人脸识别,通过对比不同损失函数的优劣,选择Triplet Loss损失函数进行模型评价。
6.如权利要求1或2所述的轻量级深度学习的智慧营业厅人脸识别方法,其特征在于:步骤3)中模型训练包括:模型超参数设置和模型训练,其中,模型超参数设置为:通过模型的训练不断调整网络参数来提高人脸识别模型特征提取和分类的性能,根据每个批次样本的训练结果调整网络参数,使得模型最终朝着目标方向进行训练,逐步提高模型的性能;模型训练:在模型初始化参数设置完毕后,就可以把预处理之后的训练数据输入模型进行训练,当模型误差满足预设值或达到最大训练周期时结束训练。
7.如权利要求1或2所述的轻量级深度学习的智慧营业厅人脸识别方法,其特征在于:步骤4:模型测试:模型测试是用测试数据集来验证模型训练结果的优劣,如果训练数据集和测试数据集精确率都达到95%以上,则说明模型已经训练完成,结束本任务;如果训练数据集和测试数据集中任何一个的精确率低于95%,则重复步骤3,直至训练数据集和测试数据集精确率都达到95%以上。
CN201911027483.3A 2019-10-28 2019-10-28 一种轻量级深度学习的智慧营业厅人脸识别方法 Pending CN110781829A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911027483.3A CN110781829A (zh) 2019-10-28 2019-10-28 一种轻量级深度学习的智慧营业厅人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911027483.3A CN110781829A (zh) 2019-10-28 2019-10-28 一种轻量级深度学习的智慧营业厅人脸识别方法

Publications (1)

Publication Number Publication Date
CN110781829A true CN110781829A (zh) 2020-02-11

Family

ID=69386839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911027483.3A Pending CN110781829A (zh) 2019-10-28 2019-10-28 一种轻量级深度学习的智慧营业厅人脸识别方法

Country Status (1)

Country Link
CN (1) CN110781829A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340141A (zh) * 2020-04-20 2020-06-26 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN111401440A (zh) * 2020-03-13 2020-07-10 重庆第二师范学院 目标分类识别方法、装置、计算机设备及存储介质
CN111460962A (zh) * 2020-03-27 2020-07-28 武汉大学 一种口罩人脸识别方法及系统
CN111597872A (zh) * 2020-03-27 2020-08-28 北京梦天门科技股份有限公司 一种基于深度学习的卫生监督执法非法行医人脸识别方法
CN111797793A (zh) * 2020-07-10 2020-10-20 重庆三峡学院 一种基于人脸识别技术的校园身份智能管理系统
CN111832465A (zh) * 2020-07-08 2020-10-27 星宏集群有限公司 基于MobileNetV3的实时人头分类检测方法
CN112232147A (zh) * 2020-09-28 2021-01-15 上海明略人工智能(集团)有限公司 用于人脸模型超参数自适应获取的方法、装置和系统
CN112738066A (zh) * 2020-12-25 2021-04-30 合肥诚记信息科技有限公司 一种营业厅业务智能分配系统及方法
CN113362110A (zh) * 2021-06-03 2021-09-07 中国电信股份有限公司 营销信息的推送方法、装置、电子设备和可读介质
CN113516002A (zh) * 2021-03-05 2021-10-19 武汉特斯联智能工程有限公司 应用智慧社区的基于人脸识别模型的人脸识别方法及装置
CN114201588A (zh) * 2020-09-02 2022-03-18 武汉Tcl集团工业研究院有限公司 一种机器阅读理解模型的训练方法、装置及介质
CN115131783A (zh) * 2022-06-23 2022-09-30 贵州大学 基于机器视觉的用户饮食营养成分信息自主感知方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160543A (zh) * 2015-07-31 2015-12-16 中国移动通信集团安徽有限公司阜阳分公司 一种人脸识别电信服务的营销系统及其营销方法
CN108427921A (zh) * 2018-02-28 2018-08-21 辽宁科技大学 一种基于卷积神经网络的人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160543A (zh) * 2015-07-31 2015-12-16 中国移动通信集团安徽有限公司阜阳分公司 一种人脸识别电信服务的营销系统及其营销方法
CN108427921A (zh) * 2018-02-28 2018-08-21 辽宁科技大学 一种基于卷积神经网络的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
池立盈: "移动平台上的人脸识别系统研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401440A (zh) * 2020-03-13 2020-07-10 重庆第二师范学院 目标分类识别方法、装置、计算机设备及存储介质
CN111401440B (zh) * 2020-03-13 2023-03-31 重庆第二师范学院 目标分类识别方法、装置、计算机设备及存储介质
CN111460962A (zh) * 2020-03-27 2020-07-28 武汉大学 一种口罩人脸识别方法及系统
CN111597872A (zh) * 2020-03-27 2020-08-28 北京梦天门科技股份有限公司 一种基于深度学习的卫生监督执法非法行医人脸识别方法
CN111460962B (zh) * 2020-03-27 2023-05-05 武汉大学 一种口罩人脸识别方法及系统
CN111340141A (zh) * 2020-04-20 2020-06-26 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN111832465A (zh) * 2020-07-08 2020-10-27 星宏集群有限公司 基于MobileNetV3的实时人头分类检测方法
CN111832465B (zh) * 2020-07-08 2022-03-29 星宏集群有限公司 基于MobileNetV3的实时人头分类检测方法
CN111797793A (zh) * 2020-07-10 2020-10-20 重庆三峡学院 一种基于人脸识别技术的校园身份智能管理系统
CN114201588A (zh) * 2020-09-02 2022-03-18 武汉Tcl集团工业研究院有限公司 一种机器阅读理解模型的训练方法、装置及介质
CN112232147A (zh) * 2020-09-28 2021-01-15 上海明略人工智能(集团)有限公司 用于人脸模型超参数自适应获取的方法、装置和系统
CN112738066A (zh) * 2020-12-25 2021-04-30 合肥诚记信息科技有限公司 一种营业厅业务智能分配系统及方法
CN113516002A (zh) * 2021-03-05 2021-10-19 武汉特斯联智能工程有限公司 应用智慧社区的基于人脸识别模型的人脸识别方法及装置
CN113362110A (zh) * 2021-06-03 2021-09-07 中国电信股份有限公司 营销信息的推送方法、装置、电子设备和可读介质
CN115131783A (zh) * 2022-06-23 2022-09-30 贵州大学 基于机器视觉的用户饮食营养成分信息自主感知方法
CN115131783B (zh) * 2022-06-23 2024-02-20 贵州大学 基于机器视觉的用户饮食营养成分信息自主感知方法

Similar Documents

Publication Publication Date Title
CN110781829A (zh) 一种轻量级深度学习的智慧营业厅人脸识别方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN109815826B (zh) 人脸属性模型的生成方法及装置
WO2020114118A1 (zh) 面部属性识别方法、装置、存储介质及处理器
CN109063565B (zh) 一种低分辨率人脸识别方法及装置
CN104143079B (zh) 人脸属性识别的方法和系统
CN105138998B (zh) 基于视角自适应子空间学习算法的行人重识别方法及系统
WO2019080203A1 (zh) 一种机器人的手势识别方法、系统及机器人
CN108564049A (zh) 一种基于深度学习的快速人脸检测识别方法
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN111339990A (zh) 一种基于人脸特征动态更新的人脸识别系统和方法
CN104504366A (zh) 基于光流特征的笑脸识别系统及方法
CN105956570B (zh) 基于唇部特征和深度学习的笑脸识别方法
CN111325237B (zh) 一种基于注意力交互机制的图像识别方法
CN114360038B (zh) 基于深度学习的弱监督rpa元素识别方法及系统
CN116448019A (zh) 建筑节能工程质量平面度智能检测装置及方法
CN104978569A (zh) 一种基于稀疏表示的增量人脸识别方法
CN105868776A (zh) 一种基于图像处理技术的变压器设备识别方法及装置
CN110751005B (zh) 融合深度感知特征和核极限学习机的行人检测方法
Hoque et al. Bdsl36: A dataset for bangladeshi sign letters recognition
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN103942572A (zh) 一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置
CN103942545A (zh) 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
CN111898454A (zh) 权重二值化神经网络与迁移学习人眼状态检测方法及设备
CN116468935A (zh) 一种基于多核卷积网络的交通标志阶梯式分类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211