CN109214255A - 一种单样本人脸识别方法 - Google Patents
一种单样本人脸识别方法 Download PDFInfo
- Publication number
- CN109214255A CN109214255A CN201710554339.XA CN201710554339A CN109214255A CN 109214255 A CN109214255 A CN 109214255A CN 201710554339 A CN201710554339 A CN 201710554339A CN 109214255 A CN109214255 A CN 109214255A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- row
- city
- deflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000001815 facial effect Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000005311 autocorrelation function Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 210000003746 feather Anatomy 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种单样本人脸识别方法，包括以下方法：A、将单张训练样本进行偏转脸扩展；B、之后进行行相关性特征提取，本发明提供的方法针对目前流动人口较多的现状，对流动人口的统计、管理，乃至对整个城市的社会治安问题，是构建平安、智慧与和谐城市需要着重考虑的问题之一；针对基于图像的生物特征识别，在实际应用中由于难以采集大量的样本数据，导致传统的生物特征识别方法在实际应用中遇到了极大挑战，本发明能很大程度上推动安全城市、智慧城市的进程，为城市的安防、经济发展，创造一个稳定和谐的城市作出很大的贡献。
Description
技术领域
本发明涉及人脸识别技术领域，具体为一种单样本人脸识别方法。
背景技术
所谓的单样本问题是指给定每人仅有一幅或几幅图像训练数据库，识别任务是从该数据库中识别任意姿态，任意光照条件下的单幅图像。单样本问题最早可以追溯到基于几何特征的人脸识别方法盛行的时期，在这个时期不同的结构特征(例如两眼之间的距离等)都是从单幅人脸图像上手工提取的，并且在后面的识别过程中存储为模板。对于这些方法来说，每人一幅图像根本不构成问题。然而，在一些特殊的应用场合，可用人脸图像数量特别大(例如执法)，这需要更加智能且简单不费力的方式去处理人脸图像。这直接导致了所谓的基于外观的人脸识别技术的诞生，基于外观的人脸识别技术融入不同学科知识，如计算机视觉、模式识别、机器学习和神经网络，其用向量表示人脸图像的方法代替几何特征提取的方法，大大提高了人脸识别系统的有效性和效率。因此，自20世纪90年代以来，基于外观的人脸识别方法已经成为人脸识别领域中的主流技术之一。但是，基于外观的人脸识别方法的关键组成部分之一是它们的学习机制，每类中包含的训练样本的数量严重影响其性能好坏，目前大多数人脸识别技术严重依赖训练样本集的规模和代表性，这些方法运用的前提都是假设每类包含多个训练样本(至少两个)。不幸的是，在许多实际应用中，我们实际能得到训练样本数远远要小于我们所需要的数量。更具体地讲，在许多实际应用场合中，尤其是大规模的识别应用，例如执法、驾照或者护照等的识别，在这种情况下数据库中每人通常只有一个训练样本。此外，我们很少有机会加入同一个人更多的样本到基础数据库中，因为收集样本的代价可能是昂贵的，即使我们可以这样做，仍旧存在一些问题，比如说要每人加入多少个样本，要以何种方式添加等等。目前为止，这些情况在人脸识别领域都是非常值得研究的。因此，研究仅使用单样本的人脸识别技术是非常有意义的。
发明内容
本发明的目的在于提供一种单样本人脸识别方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种单样本人脸识别方法,包括以下方法：
A、将单张训练样本进行偏转脸扩展；
B、之后进行行相关性特征提取。
优选的，所述步骤A中偏转脸扩展方法包括以下步骤：
A、分别计算两半边脸的压缩和拉伸像素距离,若人脸向左半边偏转P，则偏转后左半边脸在图像上所占的列数为XC′L＝nh-P，偏转后右半边脸在图像上所占的列数为XC′R＝nh+P；
B、对左右半边分别进行压缩和拉伸，其压缩和拉伸算法采用双线性插值算法，得到新的左右半边人脸图像记为X′L、X′R；
C、将变换后的左右半边脸合成完整的偏转人脸图像；变换后的偏转人脸图像为XP，则XP＝[X′L X′R]，如果n为奇数，则XP＝[X′L c(n+1)/2 X′R]，其中，c(n+1)/2为矩阵X的第(n+1)/2列。
优选的，所述步骤B中特征提取方法为：定义一副人脸图像X∈Rm×n，其中m为图像的行，n为图像的列；图像中任意两行分别为ri，rj，定义这两个向量的相关性函数为：
F(x1,x2)＝<x1,x2>
则人脸图像的任意两行的相关性可写为：
Fij＝<ri,rj>＝ri1rj1+ri2rj2+…+rinrjn
因此，得到图像的行相关性特征矩阵
其中F是一个对角矩阵，且对角线上的值分别为每一行的自相关函数；定义行相关矩阵转换成一个列向量：
其中的长度为(m2-m)/2。
与现有技术相比，本发明的有益效果是：本发明提供的方法针对目前流动人口较多的现状，对流动人口的统计、管理，乃至对整个城市的社会治安问题，是构建平安、智慧与和谐城市需要着重考虑的问题之一；针对基于图像的生物特征识别，在实际应用中由于难以采集大量的样本数据，导致传统的生物特征识别方法在实际应用中遇到了极大挑战，本发明能很大程度上推动安全城市、智慧城市的进程，为城市的安防、经济发展，创造一个稳定和谐的城市作出很大的贡献。
附图说明
图1为本发明中的行相关特征提取方法对比柱形图；
图2为本发明中的行相关性特征在单样本的情况下提取方法对比柱形图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案：一种单样本人脸识别方法,包括以下方法：
A、将单张训练样本进行偏转脸扩展；
B、之后进行行相关性特征提取。
本实施例中，步骤A中偏转脸扩展方法包括以下步骤：
A、分别计算两半边脸的压缩和拉伸像素距离,若人脸向左半边偏转P，则偏转后左半边脸在图像上所占的列数为XC′L＝nh-P，偏转后右半边脸在图像上所占的列数为XC′R＝nh+P；
B、对左右半边分别进行压缩和拉伸，其压缩和拉伸算法采用双线性插值算法，得到新的左右半边人脸图像记为X′L、X′R；
C、将变换后的左右半边脸合成完整的偏转人脸图像；变换后的偏转人脸图像为XP，则XP＝[X′L X′R]，如果n为奇数，则XP＝[X′L c(n+1)/2 X′R]，其中，c(n+1)/2为矩阵X的第(n+1)/2列。
本实施例中，步骤B中特征提取方法为：定义一副人脸图像X∈Rm×n，其中m为图像的行，n为图像的列；图像中任意两行分别为ri，rj，定义这两个向量的相关性函数为：
F(x1,x2)＝<x1,x2>
则人脸图像的任意两行的相关性可写为：
Fij＝<ri,rj>＝ri1rj1+ri2rj2+…+rinrjn
因此，得到图像的行相关性特征矩阵
其中F是一个对角矩阵，且对角线上的值分别为每一行的自相关函数；定义行相关矩阵转换成一个列向量：
其中的长度为(m2-m)/2。
实验例：
采用AR，ORL和FERET三个人脸数据库来验证算法的性能；选择从AR数据库中挑选30个人，每人1张照片；在ORL数据库随机选择了30个人的所有照片；在FERET人脸数据库中，仅仅使用200个人的1400张照片，每个人有7张照片，这7张照片分别命名为“ba”，“bj”，“bk”，“be”，“bf”，“bd”and“bg”。
分别在三个数据库中选择一张正面的脸作为单样本数据库；而测试样本，尽量选择无遮挡、偏转角度不大的样本作为测试样本，测试方法采用CRC稀疏表达分类识别的方法。如下三个表格分别显示了在三个不同的数据库中进行偏转脸扩展后其识别错误率的变化情况，偏转脸的扩展方法在ORL数据库中的错误识别率：
偏转脸的扩展方法在AR数据库中的错误识别率：
偏转脸的扩展方法在FERET数据库中的错误识别率：
实验结果证明了在单张样本的情况下，增加偏转脸，能提高识别率，但是，当偏转角度达到一定距离后，识别率发生的变化不大。
此外，还在FacePix数据库中进行了测试，FacePix数据库包含30个人的图像。其姿态范围为水平方向上从-90度到90度，间隔为1度，共181个姿态。该数据中的图像已经根据手工标注的眼睛位置进行了切割，采用单张正面脸作为训练样本类，其他的人脸图像作为测试样本。如下表格数据显示了在该数据库下，不同偏转脸扩展数量下识别的错误率。
在FacePix数据库中偏转脸扩展后的识别结果：
在Gerogia Tech人脸数据库上对行相关性特征进行了测试。该数据库包含了50个人的jpeg格式图片。每个人都有15张彩色照片，编号分别从从06/01/99到11/15/99。大部分的照片都根据光照条件、人脸表情和装饰分成两个不同的部分，此外，这些人脸的尺度和水平位置还有变化；选择一张正面的脸作为训练样本，其他的照片作为测试样本。首先提取该训练样本的行相关性向量作为训练样本向量。然后，分别对其他测试样本也提取其行相关性向量特征，然后，采用稀疏表达的方法对样本进行分类识别；将该该特征提取方法与其他的特征提取方法如PCA、LDA、Gabor、LBP、SIFT等方法进行了比较。其测试结果如图1所示。
另外，还用偏转脸的方法用来扩展样本进行测试。首先将单张训练样本进行偏转脸扩展，然后再进行特征提取，最后用稀疏表达的方法对样本进行分类识别，其测试结果如图2所示。
通过测试结果看到，行相关性特征在单样本的情况下，也能保持比较好的识别结果。而偏转脸的扩展方法也能有效的提高稀疏方法的识别率；通过训练样本的扩展方法我们可以看出，对于局部特征的稀疏分类识别方法，扩展前后其识别率变化不大。而行相关性样本比LBP、SIFT、Gabor局部特征的识别率提升要多，但不如全局特征提升明显。这说明，行相关性特征介于局部特征和全局特征的性能之间。能同时反映局部特征和全局特征。
本发明提供的方法针对目前流动人口较多的现状，对流动人口的统计、管理，乃至对整个城市的社会治安问题，是构建平安、智慧与和谐城市需要着重考虑的问题之一；针对基于图像的生物特征识别，在实际应用中由于难以采集大量的样本数据，导致传统的生物特征识别方法在实际应用中遇到了极大挑战，本发明能很大程度上推动安全城市、智慧城市的进程，为城市的安防、经济发展，创造一个稳定和谐的城市作出很大的贡献。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.一种单样本人脸识别方法,其特征在于：包括以下方法：
A、将单张训练样本进行偏转脸扩展；
B、之后进行行相关性特征提取。
2.根据权利要求1所述的一种单样本人脸识别方法，其特征在于：所述步骤A中偏转脸扩展方法包括以下步骤：
A、分别计算两半边脸的压缩和拉伸像素距离,若人脸向左半边偏转，则偏转后左半边脸在图像上所占的列数为，偏转后右半边脸在图像上所占的列数为；
B、对左右半边分别进行压缩和拉伸，其压缩和拉伸算法采用双线性插值算法，得到新的左右半边人脸图像记为、；
C、将变换后的左右半边脸合成完整的偏转人脸图像；变换后的偏转人脸图像为，则，如果为奇数，则，其中，为矩阵的第列。
3.根据权利要求1所述的一种单样本人脸识别方法，其特征在于：所述步骤B中特征提取方法为：定义一副人脸图像，其中为图像的行，为图像的列；图像中任意两行分别为，，定义这两个向量的相关性函数为：
则人脸图像的任意两行的相关性可写为：
因此，得到图像的行相关性特征矩阵
其中是一个对角矩阵，且对角线上的值分别为每一行的自相关函数；定义行相关矩阵转换成一个列向量：
，其中的长度为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710554339.XA CN109214255B (zh) | 2017-07-07 | 2017-07-07 | 一种单样本人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710554339.XA CN109214255B (zh) | 2017-07-07 | 2017-07-07 | 一种单样本人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109214255A true CN109214255A (zh) | 2019-01-15 |
| CN109214255B CN109214255B (zh) | 2024-01-19 |
Family
ID=64991338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710554339.XA Active CN109214255B (zh) | 2017-07-07 | 2017-07-07 | 一种单样本人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109214255B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101615245A (zh) * | 2009-07-30 | 2009-12-30 | 上海交通大学 | 基于avr和增强lbp的表情识别方法 |
| CN102855468A (zh) * | 2012-07-31 | 2013-01-02 | 东南大学 | 一种相片识别中的单样本人脸识别方法 |
| CN104268593A (zh) * | 2014-09-22 | 2015-01-07 | 华东交通大学 | 一种小样本情况下多稀疏表示的人脸识别方法 |
| CN104463234A (zh) * | 2015-01-04 | 2015-03-25 | 深圳信息职业技术学院 | 人脸识别方法 |
-
2017
- 2017-07-07 CN CN201710554339.XA patent/CN109214255B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101615245A (zh) * | 2009-07-30 | 2009-12-30 | 上海交通大学 | 基于avr和增强lbp的表情识别方法 |
| CN102855468A (zh) * | 2012-07-31 | 2013-01-02 | 东南大学 | 一种相片识别中的单样本人脸识别方法 |
| CN104268593A (zh) * | 2014-09-22 | 2015-01-07 | 华东交通大学 | 一种小样本情况下多稀疏表示的人脸识别方法 |
| CN104463234A (zh) * | 2015-01-04 | 2015-03-25 | 深圳信息职业技术学院 | 人脸识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109214255B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rahman et al. | A new benchmark on american sign language recognition using convolutional neural network | |
| Wang et al. | Large-scale isolated gesture recognition using convolutional neural networks | |
| CN107273845B (zh) | 一种基于置信区域和多特征加权融合的人脸表情识别方法 | |
| CN109492529A (zh) | 一种多尺度特征提取及全局特征融合的人脸表情识别方法 | |
| Gupta et al. | Static hand gesture recognition using local gabor filter | |
| CN112395442B (zh) | 移动互联网上的低俗图片自动识别与内容过滤方法 | |
| CN103400122A (zh) | 一种活体人脸的快速识别方法 | |
| CN108960288B (zh) | 基于卷积神经网络的三维模型分类方法及系统 | |
| CN102637251A (zh) | 基于参考特征的人脸识别方法 | |
| CN103136516A (zh) | 可见光与近红外信息融合的人脸识别方法及系统 | |
| CN104966075B (zh) | 一种基于二维判别特征的人脸识别方法与系统 | |
| CN104392246A (zh) | 一种基于类间类内面部变化字典的单样本人脸识别方法 | |
| CN111199212B (zh) | 基于注意力模型的行人属性识别方法 | |
| CN104834909B (zh) | 一种基于Gabor综合特征的图像特征描述方法 | |
| Kim et al. | MCBoost: Multiple classifier boosting for perceptual co-clustering of images and visual features | |
| Perez et al. | Local matching Gabor entropy weighted face recognition | |
| Jeny et al. | FoNet-Local food recognition using deep residual neural networks | |
| Yuan et al. | A jointly learned deep embedding for person re-identification | |
| CN106886771A (zh) | 基于模块化pca的图像主信息提取方法及人脸识别方法 | |
| CN110287973B (zh) | 一种基于低秩鲁棒线性鉴别分析的图像特征提取方法 | |
| Chunprugsuk et al. | Inspection weapon's image on social network using Haartraining | |
| Rehman et al. | Kinship verification using deep neural network models | |
| CN109214255A (zh) | 一种单样本人脸识别方法 | |
| CN106909944B (zh) | 一种人脸图片聚类的方法 | |
| CN106709502B (zh) | 一种基于投票方法的多特征融合识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |