CN108446661B - 一种深度学习并行化人脸识别方法 - Google Patents
一种深度学习并行化人脸识别方法 Download PDFInfo
- Publication number
- CN108446661B CN108446661B CN201810280026.4A CN201810280026A CN108446661B CN 108446661 B CN108446661 B CN 108446661B CN 201810280026 A CN201810280026 A CN 201810280026A CN 108446661 B CN108446661 B CN 108446661B
- Authority
- CN
- China
- Prior art keywords
- face
- data set
- data
- image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于数据扩增的深度学习并行化人脸识别方法，所述方法通过将人脸数据集进行数据扩增得到一个大规模的人脸数据集来提高人脸识别的准确率；然后将得到的大规模人脸数据集输入到改进的残差网络中进行深度学习，从而将人脸图像的特征转换为二进制哈希码以加快识别的效率；模型训练是在基于caffeonspark的分布式平台上进行的，从而减少模型训练时间；最后将得到的模型在LFW数据集上进行人脸验证来检验模型的泛化能力以及改进的残差网络的可行性。本发明能够提高人脸识别的准确率及识别效率。
Description
技术领域
本发明涉及生物特征识别领域，具体涉及一种深度学习并行化人脸识别方法。
背景技术
人脸识别是生物特征识别技术中最重要的一项技术，目前基于深度学习的人脸识别遇到的问题主要有两方面：首先是数据集的收集，如何收集大量的人脸数据以及如何收集多姿态多表情的数据是当前的一大难点，对于国际上通用的人脸识别评测标准的LFW(Labeled Faces in the Wild)数据集来说，在55749个类别中，有1680个类别只有一张图像，这样势必会造成在提取人脸图像特征的时候导致训练集中的特征较少，使其准确率较低，因此采用面部图像的数据增加从姿势、表情两方面对面部图像进行扩充来丰富每个主题的外观变化，并将其应用于训练或测试图像而不改变其标签，同时也能避免对现有数据集的过度开发。其次是人脸识别在使用深度学习进行模型训练的效率，当数据集规模巨大时，模型训练的时间就会急剧增加，为了提高模型训练的效率因此采用并行化架构。在Linux环境下搭建Caffe框架，然后采用深度卷积神经网络对扩充后的数据集进行模型训练，训练完成后通过汉明距离来判断两个人脸图像是否具有相同的身份，并完成对结果的检测和对训练模型的优劣度评价。
发明内容
本发明提供一种基于数据扩增的深度学习并行化人脸识别方法，能够提高人脸识别的准确率及识别效率。本发明通过将人脸数据集进行数据扩增得到一个大规模的人脸数据集来提高人脸识别的准确率；然后将得到的大规模人脸数据集输入到改进的残差网络中进行深度学习，从而将人脸图像的特征转换为二进制哈希码以加快识别的效率；模型训练是在基于CaffeOnSpark的分布式平台上进行的，从而减少模型训练时间；最后将得到的模型在LFW数据集上进行人脸验证来检验模型的泛化能力以及改进的残差网络的可行性。
针对当前人脸识别领域最紧缺的海量数据素材资源，本发明提供了一个更容易获取人脸数据集的手段来增加人脸识别系统的训练数据大小，能从一定程度上提高数据容量，达到提高模型效率的目的。该方法通过建立3D模型与人脸特征点相对位置之间的关系，在30个通用的3D模型上对2D图像进行投影变换来扩充其面部姿势，但是得到的人脸图像存在噪声会降低人脸识别的准确率。因此将得到的人脸数据通过对抗神经网络来进行去噪处理，通过数据扩增的方法将CASIA-Webface数据集从姿态、形状以及标签等三个方面合成新的人脸图像，将其从50万张图像扩充为200万的大型人脸数据集。
为了提高人脸验证的效率，本发明还提供了一个改进的残差网络，将残差网络改进成双路网络结构并在其中引入哈希层将人脸图像的特征映射为二进制哈希码来进行人脸验证，将改进后的网络结构简称为Siamese-ResNet。将一对人脸图像输入到Siamese-ResNet中，并通过卷积池化等操作得到两张图的特征，其特征通过哈希层进而转化为低维的二进制哈希码，设定阈值并通过汉明距离来进行计算哈希码之间的距离，来判断该对象对是否为同一个人。
针对现有单机GPU数量扩展能力有限、训练速度较慢等问题，本发明还提供了基于CaffeOnSpark的深度学习模型化并行化的框架。CaffeOnSpark采用基于Spark DataFrameAPI的MemoryData Layer作为数据输入，将模型存储在HDFS中，同时借助RDD的特点，将数据快速分发到各个节点，每个计算节点完成模型初始化之后，通过Solver调用正向传播、反向传播和权值的合并操作来完成一次迭代。将四个单机单卡的NIVDIA Tesla P100通过该方法搭建成一个分布式的深度学习平台来进行大规模数据集的模型训练，来加快模型训练，提高实验效率。
附图说明
图1为基于数据扩增的深度学习并行化人脸识别方法的流程图。
图2为深度学习并行化结构的结构图。
图3为人脸图像特征提取以及人脸验证的过程图。
图4为改进的残差网络Siamese-ResNet的结构图。
图5为Siamese-ResNet网络的原理图。
具体实施方式
参照图1，基于数据扩增的深度学习并行化人脸识别方法的实现包括如下步骤：
(1)给定原始CASIA-Webface数据集，其中包括10575个人的49万张人脸图像。
(2)根据人脸特征点检测获得的68个特征点和30个3D人脸模板合成不同姿态和外形的3D人脸，再将其投影变换成2D图像，得到一个大小为200万的人脸数据集。具体的，就是指定一副人脸图像通过face_landmarks计算出68个特征点的坐标值；通过分解它所包含的3D头部形状相对于图像的旋转矩阵，然后，对不同的偏航角采样，为未知的视点创建新的旋转矩阵，把它渲染在固定的偏航值θ设置为0°、±40°、±75°的角度，然后合成人脸图像。
(3)得到的大规模人脸数据集存在一定的噪声会影响人脸识别的准确率，因此通过抗神经网络对扩充后百万级别的人脸数据集进行人脸修正，将其中存在很大噪声的图片进行去噪，提高人脸图像的质量从而提高人脸识别的准确率。
(4)搭建基于深度学习框架Caffe的并行化平台CaffeOnSpark，将大数据平台Spark和深度学习框架Caffe相结合来提高并行化平台的数据处理效率，从而缩短模型训练的时间。
(5)将扩充后的人脸数据集在CaffeOnSpark平台上进行处理，将其转化为LMDB文件，同时将文件存储在HDFS中，借助Spark的RDD特征，将数据快速分发到各个节点上进行预训练，生成caffemodel特征文件并得到人脸分类的结果。
(6)改进残差网络，将ResNet-50改成双路残差网络，并在分类层之前引入哈希层，将人脸图像转换成二进制哈希码来降低图像的存储空间并提高人脸验证的效率，将改进型后的网络称为Siamese-ResNet网络，并调用生成的caffemodel特征文件在LFW人脸数据对上进行人脸验证。
参照图2，并行化训练包括如下步骤：
(1)获得含有n张训练样本的图片数据集，并按照节点数量对模型进行分片并分发给各节点，总迭代次数设为t。
(2)在每个计算节点分别将接受的数据输入网络模型中，得到输出。
(3)使用反向传播算法依次计算网络更新梯度和模型权重。
(4)收集各计算节点更新的模型权重并进行堆或加操作。
(5)将步骤(4)收集到的模型权重分片分发给各计算节点。
(6)当迭代次数为t时，则算法终止，否则跳至步骤(2)，如此循环。
参照图3，其中人脸图像特征生成过程以及在LFW上进行验证的具体步骤如下：
(1)将获得的百万人脸的数据集输入到残差网络中进行预训练，经过卷积层、池化层和分类器层，训练得到一个百万级别的人脸图像网络模型。
(2)构建Siamese-ResNet网络，在LFW人脸数据集上进行人脸验证，将人脸图像对转换成二进制哈希码通过汉明距离并设定阈值来衡量两个人是否为同一个人，其中经过实验表明阈值设置为0.85时人脸验证的识别率准确率最高。
参照图4和图5，构建的Siamese-ResNet网络结构主要包括如下步骤：
(1)在ResNet-50中的数据层之后加一个slice层，该层负责把输入的人脸图像对按通道切分，这样在data层中只有一个图像，与之成对的图像在data_p中。
(2)然后在分类层前引入哈希层，将图像特征映射为二进制哈希码。
(3)通过卷积池化操作，分别输出特征向量Gw(X1)和Gw(X2)。
(4)然后构造两个特征向量的距离度量作为两张图片的相似度计算函数，其中采用汉明距离来进行相似度计算。
Claims (3)
1.一种深度学习并行化人脸识别方法，所述方法包括：
给定原始CASIA-Webface数据集，根据人脸特征点检测获得特征点和3D人脸模板合成不同姿态和外形的3D人脸，再将其投影变换成2D图像，得到人脸数据集，并对所述人脸数据集进行数据扩增；
指定一副人脸图像通过face_landmarks计算出特征点的坐标值，通过分解所包含的3D头部形状相对于图像的旋转矩阵，对不同的偏航角采样，为未知的视点创建新的旋转矩阵，把它渲染在固定的偏航值θ，偏航值θ分别设置为0°、±40°、±75°，然后合成人脸图像；采用对抗神经网络进行人脸图像去噪；
搭建基于深度学习框架Caffe的并行化平台CaffeOnSpark，将大数据平台Spark和深度学习框架Caffe相结合，用于并行化平台的数据处理；
所述方法还包括：将残差网络改进成双路网络结构Siamese-ResNet，并在其中引入哈希层将人脸图像的特征映射为二进制哈希码来进行人脸验证；搭建所述Siamese-ResNet网络结构包括如下步骤：
(1)在ResNet-50中的数据层之后加一个slice层，该层负责把输入的人脸图像对按通道切分，这样在data层中只有一个图像，与之成对的图像在data_p中；
(2)然后在分类层前引入哈希层，将图像特征映射为二进制哈希码；
(3)通过卷积池化操作，分别输出特征向量Gw(X1)和Gw(X2)；
(4)然后构造两个特征向量的距离度量作为两张图片的相似度计算函数，其中采用汉明距离来进行相似度计算。
2.根据权利要求1所述的方法，所述方法还包括：扩充人脸数据集，将扩充后的人脸数据集在CaffeOnSpark平台上进行处理，将其转化为LMDB文件，同时将文件存储在HDFS中，借助Spark的RDD特征，将数据快速分发到各个节点上进行预训练，生成caffemodel特征文件并得到人脸分类的结果。
3.根据权利要求2所述的方法，其中的人脸数据集在CaffeOnSpark平台上进行处理，包括如下步骤：
(1)获得含有249万张训练样本的图片数据集，并按照节点数量对模型进行分片并分发给各节点，总迭代次数设为50万；
(2)在每个计算节点分别将接受的数据输入网络模型中，得到输出；
(3)使用反向传播算法依次计算网络更新梯度和模型权重；
(4)收集各计算节点更新的模型权重并进行堆或加操作；
(5)将步骤(4)收集到的模型权重分片分发给各计算节点；
(6)当迭代次数为t时，则算法终止，否则跳至步骤(2)，如此循环。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810280026.4A CN108446661B (zh) | 2018-04-01 | 2018-04-01 | 一种深度学习并行化人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810280026.4A CN108446661B (zh) | 2018-04-01 | 2018-04-01 | 一种深度学习并行化人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108446661A CN108446661A (zh) | 2018-08-24 |
| CN108446661B true CN108446661B (zh) | 2021-11-19 |
Family
ID=63197900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810280026.4A Active CN108446661B (zh) | 2018-04-01 | 2018-04-01 | 一种深度学习并行化人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108446661B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409286A (zh) * | 2018-10-25 | 2019-03-01 | 哈尔滨工程大学 | 基于伪样本增强训练的船舶目标检测方法 |
| CN109410149B (zh) * | 2018-11-08 | 2019-12-31 | 安徽理工大学 | 一种基于并行特征提取的cnn去噪方法 |
| CN109543057A (zh) * | 2018-11-20 | 2019-03-29 | 广州逗号智能零售有限公司 | 基于智能收银台的商品识别方法、装置、设备及存储介质 |
| CN110826396B (zh) * | 2019-09-18 | 2022-04-22 | 云知声智能科技股份有限公司 | 一种视频中眼睛状态检测方法及装置 |
| CN110909605B (zh) * | 2019-10-24 | 2022-04-26 | 西北工业大学 | 基于对比相关的跨模态行人重识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228628A (zh) * | 2016-07-15 | 2016-12-14 | 腾讯科技（深圳）有限公司 | 基于人脸识别的签到系统、方法和装置 |
| JP2017134830A (ja) * | 2016-01-22 | 2017-08-03 | 鴻海精密工業股▲ふん▼有限公司 | 顔認識システム及び顔認識方法 |
| CN107729838A (zh) * | 2017-10-12 | 2018-02-23 | 中科视拓（北京）科技有限公司 | 一种基于深度学习的头部姿态估算方法 |
-
2018
- 2018-04-01 CN CN201810280026.4A patent/CN108446661B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017134830A (ja) * | 2016-01-22 | 2017-08-03 | 鴻海精密工業股▲ふん▼有限公司 | 顔認識システム及び顔認識方法 |
| CN106228628A (zh) * | 2016-07-15 | 2016-12-14 | 腾讯科技（深圳）有限公司 | 基于人脸识别的签到系统、方法和装置 |
| CN107729838A (zh) * | 2017-10-12 | 2018-02-23 | 中科视拓（北京）科技有限公司 | 一种基于深度学习的头部姿态估算方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于投影与深度学习网络的三维人脸特征点定位方法;杜星悦 等;《软件导刊》;20171231;第16卷(第12期);第12-14、18页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108446661A (zh) | 2018-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446661B (zh) | 一种深度学习并行化人脸识别方法 | |
| CN107481279B (zh) | 一种单目视频深度图计算方法 | |
| KR101919831B1 (ko) | 오브젝트 인식 장치, 분류 트리 학습 장치 및 그 동작 방법 | |
| CN112101190A (zh) | 一种遥感图像分类方法、存储介质及计算设备 | |
| Jiang et al. | Dual attention mobdensenet (damdnet) for robust 3d face alignment | |
| CN108154104A (zh) | 一种基于深度图像超像素联合特征的人体姿态估计方法 | |
| CN109426828B (zh) | 点云分类方法、装置、设备及存储介质 | |
| US20180137343A1 (en) | Facial image generating method, facial image generating apparatus, and facial image generating device | |
| JP7280393B2 (ja) | 視覚位置決め方法、関連モデルの訓練方法及び関連装置並びに機器 | |
| WO2024103890A1 (zh) | 模型构建方法、重建方法、装置、电子设备及非易失性可读存储介质 | |
| CN106599053B (zh) | 一种三维模型检索方法 | |
| CN111783779B (zh) | 图像处理方法、装置和计算机可读存储介质 | |
| CN113255788B (zh) | 基于两阶段掩码指导的生成对抗网络人脸校正方法及系统 | |
| CN111445426B (zh) | 一种基于生成对抗网络模型的目标服装图像处理方法 | |
| CN111488810A (zh) | 人脸识别方法、装置、终端设备及计算机可读介质 | |
| JP2019511850A (ja) | 圧縮センシングによる映像再構成方法、システム、電子装置及び記憶媒体 | |
| CN110188667A (zh) | 一种基于三方对抗生成网络的人脸摆正方法 | |
| CN114724218A (zh) | 视频检测方法、装置、设备及介质 | |
| CN114998647B (zh) | 基于注意力多实例学习的乳腺癌全尺寸病理图像分类方法 | |
| CN109887009A (zh) | 一种点云局部匹配方法 | |
| CN106971176A (zh) | 基于稀疏表示的红外人体目标跟踪方法 | |
| CN114299590A (zh) | 人脸补全模型的训练方法、人脸补全方法及系统 | |
| CN117253277A (zh) | 真实和合成数据联合进行复杂环境人脸关键点检测的方法 | |
| CN115861044B (zh) | 基于生成对抗网络的复杂云层背景仿真方法、装置和设备 | |
| CN116503940A (zh) | 多视角多人三维人体姿态估计与追踪方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180824 Assignee: GUANGXI XINKAI ZHIQUAN TECHNOLOGY Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2022450000195 Denomination of invention: A deep learning parallel face recognition method Granted publication date: 20211119 License type: Common License Record date: 20221125 Application publication date: 20180824 Assignee: GUILIN JINFAMING TECHNOLOGY DEVELOPMENT CO.,LTD. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2022450000194 Denomination of invention: A deep learning parallel face recognition method Granted publication date: 20211119 License type: Common License Record date: 20221125 |
|
| EE01 | Entry into force of recordation of patent licensing contract |