CN109948568A - 基于arm微处理器和深度学习的嵌入式人脸识别系统 - Google Patents

基于arm微处理器和深度学习的嵌入式人脸识别系统 Download PDF

Info

Publication number
CN109948568A
CN109948568A CN201910232885.0A CN201910232885A CN109948568A CN 109948568 A CN109948568 A CN 109948568A CN 201910232885 A CN201910232885 A CN 201910232885A CN 109948568 A CN109948568 A CN 109948568A
Authority
CN
China
Prior art keywords
face
training
human face
recognition
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910232885.0A
Other languages
English (en)
Inventor
韩潇
钱素琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201910232885.0A priority Critical patent/CN109948568A/zh
Publication of CN109948568A publication Critical patent/CN109948568A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种基于ARM微处理器和深度学习的嵌入式人脸识别系统,其中,上位机用于将驱动程序和预训练好的人脸识别程序移植到控制板上;控制板用于运行人脸识别程序并将识别的结果显示在显示器上;人脸识别程序包括:网络模型预训练,用于搭建Facenet的人脸识别神经网络并对其进行训练;人脸图像获取,通过所述控制板启动图像获取设备进行人脸照片的采集;人脸照片预处理,将所拍摄的人脸照片进行尺度变化,形成图片金字塔;人脸检测,将所述经过预处理的人脸照片送入到预训练好的深度CNN人脸检测神经网络中,得到人脸部分的图片;人脸匹配,将得到的人脸部分的图片送入预训练好的Facenet人脸识别神经网络中,得到匹配结果。

Description

基于ARM微处理器和深度学习的嵌入式人脸识别系统
技术领域
本发明涉及人脸识别技术领域,特别是涉及一种基于ARM微处理器和深度学习的嵌入式人脸识别系统。
背景技术
从古至今,身份认证一直是人类生活各个方面的一个重要环节。从古代皇帝调兵遣将的虎符,再到现如今的日常通勤的打卡系统,门禁系统等,身份认证的技术发生了翻天覆地的变化。在21世纪的今天,随着信息科学技术的发展,人脸因其具备普遍性、唯一性、易采集性等特点而被逐渐运用于身份认证系统当中。同时,有越来越多的学者和科研单位加入到人脸识别的研究当中,可见人脸识别所具备的学术价值、经济价值和社会价值都是巨大的。人脸识别技术能够运用在移动支付认证、门禁系统认证、银行账户认证等方面,它能够克服传统身份认证方式的一些缺点,如身份ID卡易丢失,数字密码易遗忘等,可见人脸识别技术对身份认证和人们的日常生活有着深远的影响。
在人脸识别系统中,人脸是用来判断个人身份的唯一途径,它通过摄像头采集活体个人照片再送入识别系统,得到个体的特征向量,通过特征向量的对比或聚类就能够从数据库中找到对应的数据从而完成识别。
传统的人脸识别系统是通过对人脸的特征点进行比对或者降维进行的,这种方法忽略了人脸的纹理信息和局部信息等,存在识别精度较低的问题。同时,传统的人脸识别系统主要借助摄像头,PC机等主要模块完成,这就使得系统的实现成本较高,体积庞大且不利于安装维护。
发明内容
本发明所要解决的技术问题是提供一种基于ARM微处理器和深度学习的嵌入式人脸识别系统,具备体积小,精度高,速度快、成本低的特点。
本发明解决其技术问题所采用的技术方案是:提供一种基于ARM微处理器和深度学习的嵌入式人脸识别系统,包括上位机和集成有ARM微处理器的控制板,所述上位机用于将驱动程序和预训练好的人脸识别程序移植到控制板上;所述控制板用于运行人脸识别程序并将识别的结果显示在显示器上;所述人脸识别程序包括:网络模型预训练,用于搭建Facenet人脸识别神经网络并对其进行训练;人脸图像获取,通过所述控制板启动图像获取设备进行人脸照片的采集;人脸照片预处理,将所拍摄的人脸照片进行尺度变化,形成图片金字塔;人脸检测,将所述经过预处理的人脸照片送入到预训练好的深度CNN人脸检测神经网络中,得到人脸部分的图片;人脸匹配,将得到的人脸部分的图片送入预训练好的Facenet人脸识别神经网络中,得到匹配结果。
所述网络模型预训练具体为:搭建Facenet的网络深度网络模型结构,网络损失函数采用在人脸数据集上训练网络参数,并将训练好的模型进行进行准确率验证,其中,表示第i个人的人脸,则为第i个人的人脸的正样本,则为第i个人的人脸的负样本,α为正样本与负样本的差距,f(·)表示网络训练所得到的人脸的特征表达,表示特征表达之间的欧式距离平方,[·]+表示只有当内的值大于零时,取该值为损失,小于零的时候,损失为0。
所述人脸照片预处理具体为:将所拍摄的人脸照片进行尺度变化,形成图片金字塔。
所述人脸检测具体为:将所述预处理后的人脸照片送入到预训练好的深度CNN神经网络中,所述深度CNN神经网络为三部分的级联结构,首先图像将通过第一级CNN用于生成一些可能包含人脸的候选框,接着这些候选框内的图片将通过第二级CNN用于去除第一级所产生的候选框中的不包含人脸的部分,最后剩下的图片通过第三级CNN用于对第二级所产生的人脸图像进行进一步的筛选并输出最终人脸图片。
所述深度CNN神经网络的三个级联部分在训练过程分别采用了不同的损失函数,具体为每一级的损失函数都为三部分损失函数采用不同权重的加权之和。
所述人脸匹配具体为:将得到的人脸图像送入预训练好的Facenet人脸识别神经网络中,所述Facenet人脸识别神经网络的输出为人脸的特征表达,对得到的特征表达进行L2规范化处理,处理后的特征送入预训练的SVM分类器中完成对人脸的识别分类,随后将所识别的人脸身份信息显示在显示屏上。
所述集成有ARM微处理器的控制板上包括ARM微处理器、图像获取设备、显示器、电源模块、复位模块、数据存储模块、通信模块,其中ARM微处理器分别与其他各个模块相连接。
所述数据存储模块包括NANDFLASH和SDRAM。
有益效果
由于采用了上述的技术方案,本发明与现有技术相比,具有以下的优点和积极效果:本发明实现了在深度神经网络下的人脸识别,拍摄所得到的人脸照片通过人脸检测后不需要进行仿射变换调整位置即可输入至深度识别网络中进行识别,因此它能够很好地克服由于拍摄时人脸角度发生变化而引起的识别精度低甚至无法识别的现象,使得系统具有较高的鲁棒性;识别网络采用了与传统CNN神经网络的softmax损失函数不同的损失函数,其改善了采用softmax训练后可能产生类间距离过大,类类距离过小的问题,同时通过神经网络的大量的参数学习,使得系统具备较高的识别精度;系统基于ARM微处理器和控制板实现,使得整个识别系统在更加轻量化的同时又不失精度,具有较高的实用性。
附图说明
图1是本发明的硬件系统功能模块图;
图2是本发明的人脸识别系统架构图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于ARM微处理器和深度学习的嵌入式人脸识别系统,如图1所示,该系统包含PC上位机和集成有ARM微处理器的控制板,所述PC上位机用于将驱动程序和预训练好的人脸识别程序移植到控制板上;所述控制板用于运行人脸识别程序。具体的,控制板包含ARM微处理器、摄像头、LCD显示器、电源模块、复位模块、数据存储模块、通信模块。所述ARM微处理器可以使用ARM9系列微处理器S3C2440芯片。所述数据存储模块包括NANDFLASH和SDRAM。所述LCD显示模块可以使用4.3寸LCD液晶屏。如图2所示,系统的实现包括以下步骤:
步骤1:利用人脸大数据训练本系统中设计的Facenet人脸识别神经网络模型。
人脸数据、网络模型、损失函数的选择将直接影响到网络最终的识别效率和准确率。在本实施方式中,人脸的训练数据采用CASIA-WEBFACE进行训练,并在LFW数据集上进行准确率验证。网络模型采用Facenet结构,网络的损失函数为Triplet loss。若表示第i个人的人脸图像,为一正样本,即与为同一人脸,为一负样本,即不同人的人脸,希望能够成立,则得到了损失函数的表达式为其中,α表示正负样本之间的间距,Γ表示所有训练样本中可组成的三元组的集合,f(·)表示网络训练所得到的人脸的特征表达,表示特征表达之间的欧式距离平方,[·]+表示只有当内的值大于零时,取该值为损失,小于零的时候,损失为0。
步骤2:通过PC机将操作系统和硬件驱动程序移植到控制板上,包括摄像头驱动程序、LCD显示器驱动程序、NANDFLASH驱动程序。同时,通过PC机编译预训练好的人脸识别程序。
步骤3:将PC机编译好的人脸识别程序移植到控制板上。
步骤4:通过控制板启动程序,摄像头将进行人脸照片的采集即图像获取。
步骤5:人脸照片预处理,将所拍摄的人脸照片进行尺度变化,形成图片金字塔,为人脸检测部分做好准备。经过尺度变化后的每张图片都将经过检测网络,在经过检测网络时,原始照片中的人脸存在着不同的尺度,对于比较小的脸,将在放大后的图片上进行检测,对于比较大的人脸,将在缩小后的图片上进行检测。
步骤6:人脸检测,将所述采集到的人脸照片送入到预训练好的深度CNN神经网络中,该神经网络为三部分的级联结构,首先图像将通过第一级CNN用于生成一些可能包含人脸的候选框,接着这些候选框内的图片将通过第二级CNN用于去除第一级所产生的候选框中的不包含人脸的部分,最后剩下的图片通过第三级CNN用于对第二级所产生的人脸图像进行进一步的筛选并输出最终人脸图片。上述的三个级联部分在训练过程分别采用了不同的损失函数,总损失函数为三部分损失函数的加权之和。上述的三个级联部分在训练过程分别采用了不同的损失函数,具体为每一级的损失函数都为三部分损失函数采用不同权重的加权之和,这样可以让每一级的网络在训练过程中都能够根据网络任务不同而有所侧重,使得最终的模型更加精确。其中,第一部分损失函数采用pi表示某个样本为面部的概率,表示人脸ground-truth标签,该部分损失函数用来训练一个判断是否是面部的分类器。第二部分损失函数采用 表示网络输出得到的人脸边框信息,表示正确的人脸边框信息,边框信息为一个四维向量,分别代表了边框左上角x轴坐标、边框左上角y轴坐标、边框长度、边框宽度,表示两个边框信息之间的欧氏距离平方,该部分损失函数用来训练一个边界框回归。第三部分损失函数采用 表示网络得到的人脸特征点信息,表示实际的人脸特征点信息,特征点信息为一个10维向量,分别为双眼、鼻子,左右嘴角的坐标信息,表示两个特征点信息之间的欧氏距离平方,该部分损失函数用来训练一个人脸特征点的定位器。
步骤7:人脸匹配,将步骤6得到的图像送入预训练好的深度Facenet人脸识别神经网络中,该网络输出为人脸的特征表达,对得到的特征表达进行L2规范化处理,处理后的特征送入预训练的SVM分类器中即可完成对人脸的识别分类,随后将所识别的人脸身份信息显示在控制器的LCD显示屏上。
不难发现,本发明实现了在深度神经网络下的人脸识别,拍摄所得到的人脸照片通过人脸检测后不需要进行仿射变换调整位置即可输入至深度识别网络中进行识别,因此它能够很好地克服由于拍摄时人脸角度发生变化而引起的识别精度低甚至无法识别的现象,使得系统具有较高的鲁棒性;识别网络采用了Triplet loss损失函数来代替传统CNN神经网络的softmax损失函数,改善了采用softmax训练后可能产生类间距离过大,类类距离过小的问题,同时通过神经网络的大量的参数学习,使得系统具备较高的识别精度,测试显示在LFW数据集上的准确率为97.5%;系统基于ARM微处理器的控制板实现,使得整个识别系统在更加轻量化的同时又不失精度与速度,具有较高的实用性。

Claims (8)

1.一种基于ARM微处理器和深度学习的嵌入式人脸识别系统,包括上位机和集成有ARM微处理器的控制板,其特征在于,所述上位机用于将驱动程序和预训练好的人脸识别程序移植到控制板上;所述控制板用于运行人脸识别程序并将识别的结果显示在显示器上;所述人脸识别程序包括:网络模型预训练,用于搭建Facenet人脸识别神经网络并对其进行训练;人脸图像获取,通过所述控制板启动图像获取设备进行人脸照片的采集;人脸照片预处理,将所拍摄的人脸照片进行尺度变化,形成图片金字塔;人脸检测,将所述经过预处理的人脸照片送入到预训练好的深度CNN人脸检测神经网络中,得到人脸部分的图片;人脸匹配,将得到的人脸部分的图片送入预训练好的Facenet人脸识别神经网络中,得到匹配结果。
2.根据权利要求1所述的基于ARM微处理器和深度学习的嵌入式人脸识别系统,其特征在于,所述网络模型预训练具体为:搭建Facenet的网络深度网络模型结构,网络损失函数采用在人脸数据集上训练网络参数,并将训练好的模型进行进行准确率验证,其中,表示第i个人的人脸,则为第i个人的人脸的正样本,则为第i个人的人脸的负样本,α为正样本与负样本的差距,f(·)表示网络训练所得到的人脸的特征表达,表示特征表达之间的欧式距离平方,[·]+表示只有当内的值大于零时,取该值为损失,小于零的时候,损失为0。
3.根据权利要求1所述的基于ARM微处理器和深度学习的嵌入式人脸识别系统,其特征在于,所述人脸照片预处理具体为:将所拍摄的人脸照片进行尺度变化,形成图片金字塔。
4.根据权利要求1所述的基于ARM微处理器和深度学习的嵌入式人脸识别系统,其特征在于,所述人脸检测具体为:将所述预处理后的人脸照片送入到预训练好的深度CNN神经网络中,所述深度CNN神经网络为三部分的级联结构,首先图像将通过第一级CNN用于生成一些可能包含人脸的候选框,接着这些候选框内的图片将通过第二级CNN用于去除第一级所产生的候选框中的不包含人脸的部分,最后剩下的图片通过第三级CNN用于对第二级所产生的人脸图像进行进一步的筛选并输出最终人脸图片。
5.根据权利要求4所述的基于ARM微处理器和深度学习的嵌入式人脸识别系统,其特征在于,所述深度CNN神经网络的三个级联部分在训练过程分别采用了不同的损失函数,具体为每一级的损失函数都为三部分损失函数采用不同权重的加权之和。
6.根据权利要求1所述的基于ARM微处理器和深度学习的嵌入式人脸识别系统,其特征在于,所述人脸匹配具体为:将得到的人脸图像送入预训练好的Facenet人脸识别神经网络中,所述Facenet人脸识别神经网络的输出为人脸的特征表达,对得到的特征表达进行L2规范化处理,处理后的特征送入预训练的SVM分类器中完成对人脸的识别分类,随后将所识别的人脸身份信息显示在显示屏上。
7.根据权利要求1所述的基于ARM微处理器和深度学习的嵌入式人脸识别系统,其特征在于,所述集成有ARM微处理器的控制板上包括ARM微处理器、图像获取设备、显示器、电源模块、复位模块、数据存储模块、通信模块,其中ARM微处理器分别与其他各个模块相连接。
8.根据权利要求7所述的基于ARM微处理器和深度学习的嵌入式人脸识别系统,其特征在于,所述数据存储模块包括NANDFLASH和SDRAM。
CN201910232885.0A 2019-03-26 2019-03-26 基于arm微处理器和深度学习的嵌入式人脸识别系统 Pending CN109948568A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910232885.0A CN109948568A (zh) 2019-03-26 2019-03-26 基于arm微处理器和深度学习的嵌入式人脸识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910232885.0A CN109948568A (zh) 2019-03-26 2019-03-26 基于arm微处理器和深度学习的嵌入式人脸识别系统

Publications (1)

Publication Number Publication Date
CN109948568A true CN109948568A (zh) 2019-06-28

Family

ID=67010860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910232885.0A Pending CN109948568A (zh) 2019-03-26 2019-03-26 基于arm微处理器和深度学习的嵌入式人脸识别系统

Country Status (1)

Country Link
CN (1) CN109948568A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378296A (zh) * 2019-07-23 2019-10-25 上海大学 基于神经网络的低网络带宽需求的监控方法及系统
CN110399826A (zh) * 2019-07-22 2019-11-01 清华大学深圳研究生院 一种端到端人脸检测和识别方法
CN110472570A (zh) * 2019-08-14 2019-11-19 旭辉卓越健康信息科技有限公司 一种基于自适应权重的人脸识别多路径深度神经网络方法
CN110532920A (zh) * 2019-08-21 2019-12-03 长江大学 基于FaceNet方法的小数量数据集人脸识别方法
CN110705454A (zh) * 2019-09-29 2020-01-17 东华大学 一种具有活体检测功能的人脸识别方法
CN110796101A (zh) * 2019-10-31 2020-02-14 广东光速智能设备有限公司 一种嵌入式平台的人脸识别方法及系统
WO2022205937A1 (zh) * 2021-04-01 2022-10-06 深圳市优必选科技股份有限公司 特征信息提取方法、模型训练方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808732A (zh) * 2016-03-10 2016-07-27 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN105912990A (zh) * 2016-04-05 2016-08-31 深圳先进技术研究院 人脸检测的方法及装置
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107609459A (zh) * 2016-12-15 2018-01-19 平安科技(深圳)有限公司 一种基于深度学习的人脸识别方法及装置
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108537119A (zh) * 2018-03-06 2018-09-14 北京大学 一种小样本视频识别方法
CN208255909U (zh) * 2018-06-22 2018-12-18 福建师范大学 一种基于嵌入式深度学习人脸识别装置
CN109492624A (zh) * 2018-12-29 2019-03-19 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808732A (zh) * 2016-03-10 2016-07-27 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN105912990A (zh) * 2016-04-05 2016-08-31 深圳先进技术研究院 人脸检测的方法及装置
CN107609459A (zh) * 2016-12-15 2018-01-19 平安科技(深圳)有限公司 一种基于深度学习的人脸识别方法及装置
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108537119A (zh) * 2018-03-06 2018-09-14 北京大学 一种小样本视频识别方法
CN208255909U (zh) * 2018-06-22 2018-12-18 福建师范大学 一种基于嵌入式深度学习人脸识别装置
CN109492624A (zh) * 2018-12-29 2019-03-19 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399826A (zh) * 2019-07-22 2019-11-01 清华大学深圳研究生院 一种端到端人脸检测和识别方法
CN110399826B (zh) * 2019-07-22 2021-06-15 清华大学深圳研究生院 一种端到端人脸检测和识别方法
CN110378296A (zh) * 2019-07-23 2019-10-25 上海大学 基于神经网络的低网络带宽需求的监控方法及系统
CN110472570A (zh) * 2019-08-14 2019-11-19 旭辉卓越健康信息科技有限公司 一种基于自适应权重的人脸识别多路径深度神经网络方法
CN110532920A (zh) * 2019-08-21 2019-12-03 长江大学 基于FaceNet方法的小数量数据集人脸识别方法
CN110532920B (zh) * 2019-08-21 2023-12-29 长江大学 基于FaceNet方法的小数量数据集人脸识别方法
CN110705454A (zh) * 2019-09-29 2020-01-17 东华大学 一种具有活体检测功能的人脸识别方法
CN110796101A (zh) * 2019-10-31 2020-02-14 广东光速智能设备有限公司 一种嵌入式平台的人脸识别方法及系统
WO2022205937A1 (zh) * 2021-04-01 2022-10-06 深圳市优必选科技股份有限公司 特征信息提取方法、模型训练方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN109948568A (zh) 基于arm微处理器和深度学习的嵌入式人脸识别系统
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
CN104866829B (zh) 一种基于特征学习的跨年龄人脸验证方法
CN102663413B (zh) 一种面向多姿态和跨年龄的人脸图像认证方法
CN107895160A (zh) 人脸检测与识别装置及方法
Wang et al. Locality-preserved maximum information projection
CN106650693A (zh) 一种用于人脸比对的多特征融合识别算法
CN109858362A (zh) 一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法
CN108090830B (zh) 一种基于面部画像的信贷风险评级方法和装置
CN106096557A (zh) 一种基于模糊训练样本的半监督学习人脸表情识别方法
CN101540000B (zh) 基于纹理基元统计特性分析的虹膜分类方法
CN105389593A (zh) 基于surf特征的图像物体识别方法
CN102156885B (zh) 基于级联式码本生成的图像分类方法
CN102902986A (zh) 自动性别识别系统及方法
CN102156871A (zh) 基于类别相关的码本和分类器投票策略的图像分类方法
CN107220598B (zh) 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法
CN102855486A (zh) 一种广义图像目标检测方法
CN109977887A (zh) 一种抗年龄干扰的人脸识别方法
Tang et al. Automatic facial expression analysis of students in teaching environments
Lu et al. Discriminative metric learning for face verification using enhanced siamese neural network
Xu et al. On improving the generalization of face recognition in the presence of occlusions
Agarwal et al. Face recognition based smart and robust attendance monitoring using deep CNN
CN114550270A (zh) 一种基于双注意力机制的微表情识别方法
CN114998960B (zh) 一种基于正负样本对比学习的表情识别方法
Tiwari et al. Live attendance system via face recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190628

RJ01 Rejection of invention patent application after publication