CN110008876A - 一种基于数据增强与特征融合的人脸验证方法 - Google Patents
一种基于数据增强与特征融合的人脸验证方法 Download PDFInfo
- Publication number
- CN110008876A CN110008876A CN201910231647.8A CN201910231647A CN110008876A CN 110008876 A CN110008876 A CN 110008876A CN 201910231647 A CN201910231647 A CN 201910231647A CN 110008876 A CN110008876 A CN 110008876A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- data
- face verification
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012795 verification Methods 0.000 title claims abstract description 16
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000001815 facial effect Effects 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims description 5
- 230000005489 elastic deformation Effects 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明为一种基于数据增强与特征融合的人脸验证方法，属于人脸验证与机器学习领域中的发明专利。本发明提出了一种简单实用的人脸验证方法，旨在解决传统的人脸验证领域中正确率较低，复杂度较高的问题。本发明充分利用已经训练完成的卷积神经网络提取人脸图像特征，方便简单。同时也能使特征具有更强的鲁棒性。通过数据增强的方式，数据集的数量将成倍的增加，并引入噪声，使得验证系统的泛化性更强。将多个卷积神经网络提取的特征进行信息的融合，达到集多个卷积神经网络的优势于一体的目的。在得到融合的人脸特征后，使用此特征训练机器学习中性能优越的分类模型，最终得到人脸验证结果。
Description
技术领域
本发明属于人脸识别与机器学习领域，是一种基于数据增强与特征融合的人脸验证方法，涉及数据增强、特征提取、深度学习、特征融合、人脸验证等一系列算法。
背景技术
人脸识别的应用越来越多，但面临的问题仍旧存在，其中重要的一个问题是在某些场景下人脸验证的正确率比较低。图像特征提取的方法决定了图像特征的鲁棒性，也决定了人脸验证的正确率。李首峰等人提出了一种基于LBP的特征快速提取方法及人脸识别系统，其系统包括：人脸识别模块、人脸搜索模块、全身搜索模块、轨迹化模块、数据库管理模块以及系统管理模块，其特征的提取过程采用十字型LBP(局部二值特征)算子进行特征提取，通过二者的结合，实现了快速的人脸识别功能。本发明的优点是，人脸识别系统采用LBP指局部二值模式进行特征提取，其对图像的质量以及光照强度要求不高，抗噪能力较强，更加适合用于复杂场景中的人脸识别，其基于LBP的人脸识别算法，通过有取向性的进行特征采集，且只针对与五官区域，使得其特征提取的速度更快，在人脸识别的实时性上有了更大的提升。李建圃等人一种图像特征提取方法首先采用多尺度滑窗的方式分割图像区域，在整个图像区域内等距离滑动采样；在每个窗口内提取图像梯度方向直方图特征；统计各梯度方向空间分布特征；最后综合梯度方向直方图和梯度方向空间分布特征，得到每个窗口特征块的空间位置信息和方向信息。殷绪成等人提出基于深度学习的人脸识别方法。该方法包括建立人脸特征数据库与对录像中的人脸做特征提取和特征比对两部分，分别基于MTCNN网络和Sphereface网络实现了人脸检测和人脸识别；并且通过加入仿射变换、增加数据集的多样性、网络的裁剪、网络的稀疏化与逐层量化，主要解决了传统人脸识别方法识别准确率低、对东西方人脸的识别准确率存在差异及基于深度学习的人脸识别技术所需带宽过大等问题。王兵等人提出提供了一种图像特征的提取方法将待处理图像划分为多个图像区域；按照预设方式，从多个图像区域中确定待处理图像区域，其中，待处理图像区域的数量少于图像区域的数量；对待处理图像区域进行特征提取，得到图像特征。由于待处理图像区域的数量少于图像区域的数量，因此无需对待处理图像中的所有部分进行图像特征提取，可以缩短提取图像特征所需的时间，提高图像特征提取效率。
发明内容
现有的人脸验证方法主要分为两大类，一类是设计人工特征，另一类是训练深度卷积网络并直接利用卷积网络给出分类结果。本发明将两者的思想相结合，设计出一种新的人脸验证方法。本发明所提出的方法适合于远距离和监控环境下的小数据集的人脸验证。
本发明首先对训练集的图像数据进行数据增强，数据增强的方式包含旋转、镜像、加噪声、弹性形变。使用多个卷积神经网络提取训练集中图像的特征，在卷积神经网络中，层次越往后，其特征具有的鲁棒性越强。因此使用输出层的前一个全连接层的输出值作为卷积神经网络所提取的特征值。在特征融合之前对提取的图像特征归一化。对于由同一幅图像数据增强后的多幅图像特征进行加权特征融合。利用融合后的训练分类模型。将待验证的人脸图像使用相同的卷积神经网络提取特征，并对特征进行归一化。对待验证的人脸图像特征进行加权特征融合。待验证的人脸图像特征作为机器学习中分类器的输入，最终分类器会根据训练模型的参数给出分类结果。
卷积神经网络提取的图像特征为深层特征，具有高层的语义信息，因此具有很强的鲁棒性。该方法不需要对卷积神经网络模型进行训练，将多个卷积神经网络的特征值进行融合不仅能够充分利用现有的性能优越的卷积神经网络模型，而且多个卷积神经网络的特征融合可以起到优势互补的作用。
附图说明
图1是卷积神经网络示意图；图2是本发明的流程图。
具体实施方式
本发明提出的基于数据增强与特征融合的人脸验证方法的流程图如图2所示，具体实施步骤如下：
(1)对训练集的图像数据进行数据增强。可以采用的数据增强方法有：旋转、镜像、加噪声、弹性形变。通过数据增强后，数据集的数量将成倍的增加。
(2)使用多个卷积神经网络提取训练集中图像的特征。卷积神经网络中有卷积层、池化层、全连接层、输出层，如图1所示。其特征得到的方式为输出层的前一个全连接层的输出值。一般采用3个卷积神经网络。
(3)图像特征归一化。卷积神经网络提取的特征为向量V(v1,v2,....,vn)，其中n代表向量的维数。设向量中的最大值为max，最小值为min，则归一化的向量值为：
(4)对由同一幅图像数据增强后的多幅图像特征进行加权特征融合。设同一幅图像数据增强后的多幅图像特征为f1,f2,...,fn，其中n代表某图像经过数据增强后的图像数目。加权公式为：
f＝w1f1+w2f2+....+wnfn (2)
其中w1+w2+...+wn＝1
(5)训练支持向量机(Support Vector Machines，SVM)分类模型。将融合后的特征作为SVM分类算法的输入。
(6)提取待验证人脸图像特征。将待验证的人脸图像使用相同的卷积神经网络提取特征。
(7)与步骤(3)使用相同的方式进行归一化。
(8)将待验证的人脸图像特征与步骤(4)使用相同的方式进行加权融合。
(9)将融合后的特征送入步骤(5)的分类算法。
(10)分类算法给出人脸验证结果。
(11)人脸验证结束。
Claims (1)
1.一种基于数据增强与特征融合的人脸验证方法，其特征在于，包含下列步骤：对训练集的图像数据进行数据增强，可以采用的数据增强方法有：旋转、镜像、加噪声、弹性形变，通过数据增强后，数据集的数量将成倍的增加；使用多个卷积神经网络提取训练集中图像的特征；对图像特征归一化；对由同一幅图像数据增强后的多幅图像特征进行加权特征融合；训练支持向量机分类模型；提取待验证人脸图像特征；特征进行归一化；将待验证的人脸图像特征进行加权融合；将融合后的特征送入分类算法；分类算法给出人脸验证结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910231647.8A CN110008876A (zh) | 2019-03-26 | 2019-03-26 | 一种基于数据增强与特征融合的人脸验证方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910231647.8A CN110008876A (zh) | 2019-03-26 | 2019-03-26 | 一种基于数据增强与特征融合的人脸验证方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110008876A true CN110008876A (zh) | 2019-07-12 |
Family
ID=67168103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910231647.8A Pending CN110008876A (zh) | 2019-03-26 | 2019-03-26 | 一种基于数据增强与特征融合的人脸验证方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008876A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232373A (zh) * | 2019-08-12 | 2019-09-13 | 佳都新太科技股份有限公司 | 人脸聚类方法、装置、设备和存储介质 |
| CN112215767A (zh) * | 2020-09-28 | 2021-01-12 | 电子科技大学 | 一种抗块效应的图像视频增强方法 |
| CN112927172A (zh) * | 2021-05-10 | 2021-06-08 | 北京市商汤科技开发有限公司 | 图像处理网络的训练方法和装置、电子设备和存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170236057A1 (en) * | 2016-02-16 | 2017-08-17 | Carnegie Mellon University, A Pennsylvania Non-Profit Corporation | System and Method for Face Detection and Landmark Localization |
| CN107145842A (zh) * | 2017-04-19 | 2017-09-08 | 西安电子科技大学 | 结合lbp特征图与卷积神经网络的人脸识别方法 |
| CN107194341A (zh) * | 2017-05-16 | 2017-09-22 | 西安电子科技大学 | Maxout多卷积神经网络融合人脸识别方法和系统 |
| WO2017181769A1 (zh) * | 2016-04-21 | 2017-10-26 | 腾讯科技（深圳）有限公司 | 一种人脸识别方法、装置和系统、设备、存储介质 |
| CN107516083A (zh) * | 2017-08-29 | 2017-12-26 | 电子科技大学 | 一种面向识别的远距离人脸图像增强方法 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
| CN107886064A (zh) * | 2017-11-06 | 2018-04-06 | 安徽大学 | 一种基于卷积神经网络的人脸识别场景适应的方法 |
| CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
| CN108520219A (zh) * | 2018-03-30 | 2018-09-11 | 台州智必安科技有限责任公司 | 一种卷积神经网络特征融合的多尺度快速人脸检测方法 |
| CN108805216A (zh) * | 2018-06-19 | 2018-11-13 | 合肥工业大学 | 基于深浅特征融合的人脸图像处理方法 |
| CN109344693A (zh) * | 2018-08-13 | 2019-02-15 | 华南理工大学 | 一种基于深度学习的人脸多区域融合表情识别方法 |
| CN109492529A (zh) * | 2018-10-08 | 2019-03-19 | 中国矿业大学 | 一种多尺度特征提取及全局特征融合的人脸表情识别方法 |
-
2019
- 2019-03-26 CN CN201910231647.8A patent/CN110008876A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170236057A1 (en) * | 2016-02-16 | 2017-08-17 | Carnegie Mellon University, A Pennsylvania Non-Profit Corporation | System and Method for Face Detection and Landmark Localization |
| WO2017181769A1 (zh) * | 2016-04-21 | 2017-10-26 | 腾讯科技（深圳）有限公司 | 一种人脸识别方法、装置和系统、设备、存储介质 |
| CN107145842A (zh) * | 2017-04-19 | 2017-09-08 | 西安电子科技大学 | 结合lbp特征图与卷积神经网络的人脸识别方法 |
| CN107194341A (zh) * | 2017-05-16 | 2017-09-22 | 西安电子科技大学 | Maxout多卷积神经网络融合人脸识别方法和系统 |
| CN107516083A (zh) * | 2017-08-29 | 2017-12-26 | 电子科技大学 | 一种面向识别的远距离人脸图像增强方法 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
| CN107886064A (zh) * | 2017-11-06 | 2018-04-06 | 安徽大学 | 一种基于卷积神经网络的人脸识别场景适应的方法 |
| CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
| CN108520219A (zh) * | 2018-03-30 | 2018-09-11 | 台州智必安科技有限责任公司 | 一种卷积神经网络特征融合的多尺度快速人脸检测方法 |
| CN108805216A (zh) * | 2018-06-19 | 2018-11-13 | 合肥工业大学 | 基于深浅特征融合的人脸图像处理方法 |
| CN109344693A (zh) * | 2018-08-13 | 2019-02-15 | 华南理工大学 | 一种基于深度学习的人脸多区域融合表情识别方法 |
| CN109492529A (zh) * | 2018-10-08 | 2019-03-19 | 中国矿业大学 | 一种多尺度特征提取及全局特征融合的人脸表情识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 朱锋彬: "基于改进卷积神经网络的快速车辆检测", 《传感器与微系统》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232373A (zh) * | 2019-08-12 | 2019-09-13 | 佳都新太科技股份有限公司 | 人脸聚类方法、装置、设备和存储介质 |
| CN110232373B (zh) * | 2019-08-12 | 2020-01-03 | 佳都新太科技股份有限公司 | 人脸聚类方法、装置、设备和存储介质 |
| WO2021027193A1 (zh) * | 2019-08-12 | 2021-02-18 | 佳都新太科技股份有限公司 | 人脸聚类方法、装置、设备和存储介质 |
| CN112215767A (zh) * | 2020-09-28 | 2021-01-12 | 电子科技大学 | 一种抗块效应的图像视频增强方法 |
| CN112927172A (zh) * | 2021-05-10 | 2021-06-08 | 北京市商汤科技开发有限公司 | 图像处理网络的训练方法和装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107886064B (zh) | 一种基于卷积神经网络的人脸识别场景适应的方法 | |
| CN107194341B (zh) | Maxout多卷积神经网络融合人脸识别方法和系统 | |
| CN109522853B (zh) | 面向监控视频的人脸检测与搜索方法 | |
| CN106778796B (zh) | 基于混合式协同训练的人体动作识别方法及系统 | |
| CN106778584A (zh) | 一种基于深层特征与浅层特征融合的人脸年龄估计方法 | |
| CN111931758B (zh) | 一种结合面部静脉的人脸识别方法及装置 | |
| CN102194108B (zh) | 一种聚类线性鉴别分析特征选择的笑脸表情识别方法 | |
| CN108537743A (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN109508669A (zh) | 一种基于生成式对抗网络的人脸表情识别方法 | |
| CN106951856A (zh) | 表情包提取方法及装置 | |
| CN110008876A (zh) | 一种基于数据增强与特征融合的人脸验证方法 | |
| CN108596082A (zh) | 基于图像扩散速度模型和色彩特征的人脸活体检测方法 | |
| CN102271241A (zh) | 一种基于面部表情/动作识别的图像通信方法及系统 | |
| CN104008364B (zh) | 人脸识别方法 | |
| Zhang et al. | A survey on face anti-spoofing algorithms | |
| CN106127193B (zh) | 一种人脸图像识别方法 | |
| CN111985332B (zh) | 一种基于深度学习的改进损失函数的步态识别方法 | |
| Shao et al. | PalmGAN for cross-domain palmprint recognition | |
| CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
| CN109740578A (zh) | 一种适用于光照、姿态、表情变化的人脸识别方法 | |
| CN107330381A (zh) | 一种人脸识别方法 | |
| CN105893941B (zh) | 一种基于区域图像的人脸表情识别方法 | |
| CN108537143A (zh) | 一种基于重点区域特征比对的人脸识别方法与系统 | |
| CN107862298B (zh) | 一种基于红外摄像装置下眨眼的活体检测方法 | |
| Yu et al. | Pedestrian detection based on improved Faster RCNN algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190712 |