CN108038467B - 一种镜像图与粗细层次结合的稀疏人脸识别方法 - Google Patents

一种镜像图与粗细层次结合的稀疏人脸识别方法 Download PDF

Info

Publication number
CN108038467B
CN108038467B CN201711431688.9A CN201711431688A CN108038467B CN 108038467 B CN108038467 B CN 108038467B CN 201711431688 A CN201711431688 A CN 201711431688A CN 108038467 B CN108038467 B CN 108038467B
Authority
CN
China
Prior art keywords
training sample
class
face
sample
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711431688.9A
Other languages
English (en)
Other versions
CN108038467A (zh
Inventor
周先春
许瑞
周杰
陈铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201711431688.9A priority Critical patent/CN108038467B/zh
Publication of CN108038467A publication Critical patent/CN108038467A/zh
Application granted granted Critical
Publication of CN108038467B publication Critical patent/CN108038467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了了一种镜像图与粗细层次结合的稀疏人脸识别方法，人脸在实际环境中，伴随着各种不可预知的情况，会呈现出复杂多变的特性。为了提高人脸识别率及更好的显示人脸特征，本发明的方法首先利用人脸的镜面性生成新的人脸图像，将原来的人脸训练样本和新生成的镜像图样本结合起来，使用粗细层次结合的分类方法来进行识别。新方法一方面增加了训练样本的数目，克服由于光照和姿态等外部因素带来的影响，另一方面选取合适的训练样本，丢掉不合适样本对于人脸识别所造成的不利影响。

Description

一种镜像图与粗细层次结合的稀疏人脸识别方法
技术领域
本发明涉及图像处理领域，是一种基于多样本扩充的改进的稀疏人脸识别方法。
背景技术
人脸识别是一种生物特征识别技术，在生活中得到了广泛的应用。近年来，越来越多的方法应用于人脸识别，人脸是处在复杂多变的环境中，不仅外界有不确定的环境因素，而且自身的面部表情和姿态等等都会影响人脸识别的正确性。
由于人脸会受到光照等外部因素的影响，若在原有的人脸样本的基础上，能够构造出一些新的有效的人脸样本，就能提高人脸识别的效果。有学者通过图像的特性构造出新的虚拟人脸图像，但是过多的人脸图像不一定都有利于人脸的识别，反而会造成运算的复杂性。稀疏识别方法是一种经典的识别方法，它依赖于特定的变换过程对训练样本和测试样本进行“稀疏”的表示，然后利用分类器去识别测试样本，这里的“稀疏”意味着线性组合的系数可能为零，但是经典的稀疏识别方法是基于L_1范数运算量复杂，改进的稀疏识别方法-协同表示方法是基于L_2范数的方法，降低了运算的复杂性，更有益于人脸图像的分类。
发明内容
本发明旨在面对复杂多变的外部环境，构造出多种有效的虚拟人脸图像，利用稀疏识别方法进行人脸识别，以提高人脸识别的效果。本发明利用人脸图像的镜像性构造出新的虚拟训练人脸镜像图，利用欧式距离从这些训练样本中选择出接近测试样本的训练样本，将选择出来的训练样本采用协同表示方法进行人脸识别，很好的提高人脸识别的效果。
为了克服现有技术中存在的不足，本发明提供一种镜像图与粗细层次结合的稀疏人脸识别方法。
方案：为解决上述技术问题，本发明采用的技术方案为：
一种镜像图与粗细层次结合的稀疏人脸识别方法，包括如下步骤：
步骤一：镜像图法利用图像的对称性得到镜像图。若人脸数据库有t类，每类有n个训练样本，训练样本总数为N＝t*n。令X表示总的原始矩阵，Xi表示X中第i类训练样本矩阵，Xi＝[x(i-1)*n+1,x(i-1)*n+2,…,xi*n](i＝1,2,…,t)，Xi中每一项代表第i类中每一个训练样本的列向量。设样本矩阵具有C行和D列，它对应的镜像矩阵也具有C行和D列。第i类第j个训练样本列向量表示为x(i-1)*n+j，第i类第j个新生成的镜像样本表示为m(i-1)*n+j，(i＝1,2,…,t；j＝1,2,…,n)。x'(i-1)*t+j(c,d)表示x(i-1)*t+j在第c行和第d列上的像素，m'(i-1)*t+j(c,d)表示m(i-1)*t+j(c,d)在第c行和第d列上的像素,有
将m'(i-1)*t+j(c,d))转化为m((i-1)*t+j(c,d)，令M表示总的镜像图矩阵，Mi表示M中第i类训练样本矩阵，Mi＝[m(i-1)*n+1,m(i-1)*n+2,…,mi*n]；
步骤二：令S表示总的训练样本矩阵，S＝[S1，S2，…St]，Si表示第i类总的训练样本矩阵，Si＝[x(i-1)*n+1,m(i-1)*n+1,x(i-1)*n+2,m(i-1)*n+2,…,xi*n,mi*n]。第i类测试样本矩阵的列向量为y,用欧氏距离来测量第i类训练样本x(i-1)*n+j与测试样本之间的偏差程度，令
di＝||y-x(i-1)*n+j||2 (2)
di越小，说明x(i-1)*n+j越接近y。从2*N个训练样本中用欧式距离选出G个训练样本,G≤2*N,设G个训练样本的列向量分别为q1,q2,…,qG,令Q表示经过欧式距离选择过的训练样本矩阵，Q＝[q1,q2,…,qG]。用G个训练样本线性表示y，即
y＝K*Q (3)
K是Q对应的系数,K＝[k1,k2,...,kG]。令Ki＝(QTQ+μz)-1QTy，μ是一个较小的常量，z是一个可识别的矩阵。令
yi＝Ki*Qi (4)
Qi表示Q中第i类训练样本，Ki为Qi对应的系数，用di1衡量y与y'之间的偏差程度，即
di1＝||y-y'||2 (5)
di1越小，说明y'越能表示y。若则测试样本y被分配到第i类。
本发明达到的有益效果：①通过简单实用的方法构造人脸镜像虚拟图，有效克服人脸由于光照等外部因素带来的不良后果；②通过欧式距离选择接近测试样本的训练样本，避免无用的训练样本对人脸识别造成干扰；③采用改进的稀疏识别算法-协同表示算法进行人脸识别，有效的避免稀疏识别算法运算量复杂的问题。
附图说明
图1为本发明方法流程图；
图2为原始人脸灰度图像；
图3为利用原始人脸灰度图像构造的镜像人脸图；
图4为在ORL人脸库分别使用新方法和协同表示方法得到偏差值图表；
图5为在FERET人脸库分别使用新方法和协同表示方法得到偏差值图表。
具体实施方式
以下结合附图进一步说明本发明技术方案。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，镜像图与粗细层次结合的稀疏人脸识别方法，具体实施步骤如下：
步骤一：镜像图法利用图像的对称性得到镜像图。若人脸数据库有t类，每类有n个训练样本，训练样本总数为N＝t*n。令X表示总的原始矩阵，Xi表示X中第i类训练样本矩阵，Xi＝[x(i-1)*n+1,x(i-1)*n+2,…,xi*n](i＝1,2,…,t)，Xi中每一项代表第i类中每一个训练样本的列向量。设样本矩阵具有C行和D列，它对应的镜像矩阵也具有C行和D列。第i类第j个训练样本列向量表示为x(i-1)*n+j，第i类第j个新生成的镜像样本表示为m(i-1)*n+j，(i＝1,2,…,t；j＝1,2,…,n)。x'(i-1)*t+j(c,d)表示x(i-1)*t+j在第c行和第d列上的像素，m'(i-1)*t+j(c,d)表示m(i-1)*t+j(c,d)在第c行和第d列上的像素,有
将m'(i-1)*t+j(c,d))转化为m((i-1)*t+j(c,d)，令M表示总的镜像图矩阵，Mi表示M中第i类训练样本矩阵，Mi＝[m(i-1)*n+1,m(i-1)*n+2,…,mi*n]；
步骤二：令S表示总的训练样本矩阵，S＝[S1，S2，…St]，Si表示第i类总的训练样本矩阵，Si＝[x(i-1)*n+1,m(i-1)*n+1,x(i-1)*n+2,m(i-1)*n+2,…,xi*n,mi*n]。第i类测试样本矩阵的列向量为y,用欧氏距离来测量第i类训练样本x(i-1)*n+j与测试样本之间的偏差程度，令
di＝||y-x(i-1)*n+j||2 (2)
di越小，说明x(i-1)*n+j越接近y。从2*N个训练样本中用欧式距离选出G个训练样本,G≤2*N,设G个训练样本的列向量分别为q1,q2,…,qG,令Q表示经过欧式距离选择过的训练样本矩阵，Q＝[q1,q2,…,qG]。用G个训练样本线性表示y，即
y＝K*Q (3)
K是Q对应的系数,K＝[k1,k2,...,kG]。令Ki＝(QTQ+μz)-1QTy，μ是一个较小的常量，z是一个可识别的矩阵。令
yi＝Ki*Qi (4)
Qi表示Q中第i类训练样本，Ki为Qi对应的系数，用di1衡量y与y'之间的偏差程度，即
di1＝||y-y'||2 (5)
di1越小，说明y'越能表示y。若则测试样本y被分配到第i类。
ORL人脸数据库由该实验室从1992年4月到1994年4月期间拍摄的一系列人脸图像组成，共有40个不同年龄、不同性别和不同种族的对象。每个人10幅图像共计400幅灰度图像组成，图像尺寸是92×112，图像背景为黑色，其中人脸部分表情和细节均有变化该库是目前使用最广泛的标准人脸数据库。图2为ORL人脸库中的一个人脸灰度图像。
图3是对原始人脸图像利用镜像法得到的镜像人脸图。若人脸数据库有t类，每类有n个训练样本，训练样本总数为N＝t*n。令X表示总的原始矩阵，Xi表示X中第i类训练样本矩阵，Xi＝[x(i-1)*n+1,x(i-1)*n+2,…,xi*n](i＝1,2,…,t)，Xi中每一项代表第i类中每一个训练样本的列向量。设样本矩阵具有C行和D列，它对应的镜像矩阵也具有C行和D列。第i类第j个训练样本列向量表示为x(i-1)*n+j，第i类第j个新生成的镜像样本表示为m(i-1)*n+j，(i＝1,2,…,t；j＝1,2,…,n)。x'(i-1)*t+j(c,d)表示x(i-1)*t+j在第c行和第d列上的像素，m'(i-1)*t+j(c,d)表示m(i-1)*t+j(c,d)在第c行和第d列上的像素,有
将m'(i-1)*t+j(c,d))转化为m((i-1)*t+j(c,d)得到镜像图，如图3所示。
FERET人脸数据库，共1400幅图片。包括200个人，每人7幅，对应不同的姿态，表情，和光照条件，是目前最权威的人脸数据库。图4和图5分别是ORL人脸数据库和FERET人脸数据库中，新方法得到的偏差值与协同表示方法得到的偏差值形成的对比图。偏差值越小，说明训练样本重建的测试样本越接近给定的测试样本图，因而对应的方法进行人脸识别的效果越好。从图中可以看出，在大多数类别数中，新方法求得的偏差值都比协同表示方法小。
人脸识别率是衡量人脸识别效果的一个重要的指标。表1和表2将新方法与其它一些已经存在的成熟方法分别在ORL人脸数据库和FERET人脸数据中进行识别率的比较与分析。
表1
表2
由表1,2可知，新方法的识别率越高，说明新方法比其它方法的人脸识别的效果越好。
从以上结果可以看出，对于原始训练人脸图像，利用图像的镜面性，构造人脸镜像图，利用欧式距离从这些训练样本中选择出接近测试样本的训练样本，将选择出来的训练样本采用改进的稀疏识别方法-协同表示方法进行人脸识别，避免运算量过大的问题，将过多的人脸训练样本的识别转化为对有用人脸进行识别的问题。
以上是本发明的较佳实施方式，但本发明的保护范围不限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内，未经创造性劳动想到的变换或替换，都应涵盖在本发明的保护范围之内。因此本发明的保护范围应以权利要求所限定的保护范围为准。

Claims (1)

1.一种镜像图与粗细层次结合的稀疏人脸识别方法，其特征在于：包括如下步骤：
步骤一：镜像图法利用图像的对称性得到镜像图；若人脸数据库有t类，每类有n个训练样本，训练样本总数为N＝t*n；令X表示总的原始矩阵，Xi表示X中第i类训练样本矩阵，Xi＝[x(i-1)*n+1,x(i-1)*n+2,…,xi*n](i＝1,2,…,t)，Xi中每一项代表第i类中每一个训练样本的列向量；设样本矩阵具有C行和D列，它对应的镜像矩阵也具有C行和D列；第i类第j个训练样本列向量表示为x(i-1)*n+j，第i类第j个新生成的镜像样本表示为m(i-1)*n+j，(i＝1,2,…,t；j＝1,2,…,n)；x'(i-1)*t+j(c,d)表示x(i-1)*t+j在第c行和第d列上的像素，m'(i-1)*t+j(c,d)表示m(i-1)*t+j(c,d)在第c行和第d列上的像素,有
将m'(i-1)*t+j(c,d))转化为m((i-1)*t+j(c,d)，令M表示总的镜像图矩阵，Mi表示M中第i类训练样本矩阵，Mi＝[m(i-1)*n+1,m(i-1)*n+2,…,mi*n]；
步骤二：令S表示总的训练样本矩阵，S＝[S1，S2，…St]，Si表示第i类总的训练样本矩阵，Si＝[x(i-1)*n+1,m(i-1)*n+1,x(i-1)*n+2,m(i-1)*n+2,…,xi*n,mi*n]；第i类测试样本矩阵的列向量为y，用欧氏距离来测量第i类训练样本x(i-1)*n+j与测试样本之间的偏差程度，令
di＝||y-x(i-1)*n+j||2 (2)
di越小，说明x(i-1)*n+j越接近y；从2*N个训练样本中用欧式距离选出G个训练样本,G≤2*N,设G个训练样本的列向量分别为q1,q2,…,qG,令Q表示经过欧式距离选择过的训练样本矩阵，Q＝[q1,q2,…,qG]；用G个训练样本线性表示y，即
y＝K*Q (3)
K是Q对应的系数,K＝[k1,k2,...,kG]；令Ki＝(QTQ+μz)-1QTy，μ是一个较小的常量，z是一个可识别的矩阵；令
yi＝Ki*Qi (4)
Qi表示Q中第i类训练样本，Ki为Qi对应的系数，用di1衡量y与y'之间的偏差程度，即
di1＝||y-y'||2 (5)
di1越小，说明y'越能表示y；若则测试样本y被分配到第i类。
CN201711431688.9A 2017-12-26 2017-12-26 一种镜像图与粗细层次结合的稀疏人脸识别方法 Active CN108038467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711431688.9A CN108038467B (zh) 2017-12-26 2017-12-26 一种镜像图与粗细层次结合的稀疏人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711431688.9A CN108038467B (zh) 2017-12-26 2017-12-26 一种镜像图与粗细层次结合的稀疏人脸识别方法

Publications (2)

Publication Number Publication Date
CN108038467A CN108038467A (zh) 2018-05-15
CN108038467B true CN108038467B (zh) 2019-05-31

Family

ID=62101099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711431688.9A Active CN108038467B (zh) 2017-12-26 2017-12-26 一种镜像图与粗细层次结合的稀疏人脸识别方法

Country Status (1)

Country Link
CN (1) CN108038467B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919177B (zh) * 2019-01-23 2022-03-29 西北工业大学 基于层次化深度网络的特征选择方法
CN110929099B (zh) * 2019-11-28 2023-07-21 杭州小影创新科技股份有限公司 一种基于多任务学习的短视频帧语义提取方法及系统
CN111428687B (zh) * 2020-04-16 2023-07-25 南京信息工程大学 基于概率协同表示和卷积神经网络的识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131730A (zh) * 2007-09-25 2008-02-27 浙江大学 一种弱化表情形变影响的三维人脸识别方法
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN104268593A (zh) * 2014-09-22 2015-01-07 华东交通大学 一种小样本情况下多稀疏表示的人脸识别方法
WO2015020703A1 (en) * 2013-08-04 2015-02-12 Eyesmatch Ltd Devices, systems and methods of virtualizing a mirror

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131730A (zh) * 2007-09-25 2008-02-27 浙江大学 一种弱化表情形变影响的三维人脸识别方法
WO2015020703A1 (en) * 2013-08-04 2015-02-12 Eyesmatch Ltd Devices, systems and methods of virtualizing a mirror
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN104268593A (zh) * 2014-09-22 2015-01-07 华东交通大学 一种小样本情况下多稀疏表示的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于可变形模型的人脸检测算法研究与应用;李德强;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170715;全文

Also Published As

Publication number Publication date
CN108038467A (zh) 2018-05-15

Similar Documents

Publication Publication Date Title
US11908244B2 (en) Human posture detection utilizing posture reference maps
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN108717568B (zh) 一种基于三维卷积神经网络的图像特征提取与训练方法
Meng et al. Sample fusion network: An end-to-end data augmentation network for skeleton-based human action recognition
CN109800754A (zh) 一种基于卷积神经网络的古字体分类方法
CN109101865A (zh) 一种基于深度学习的行人重识别方法
CN111126404B (zh) 一种基于改进YOLO v3的古文字及字体识别方法
CN110414349A (zh) 引入感知模型的孪生卷积神经网络人脸识别算法
CN105976397B (zh) 一种目标跟踪方法
CN108038467B (zh) 一种镜像图与粗细层次结合的稀疏人脸识别方法
CN111127360B (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN108681689B (zh) 基于生成对抗网络的帧率增强步态识别方法及装置
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN108960258A (zh) 一种基于自学习深度特征的模板匹配方法
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
Paul et al. Rethinking generalization in american sign language prediction for edge devices with extremely low memory footprint
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
CN109325513A (zh) 一种基于海量单类单幅图像的图像分类网络训练方法
CN111783698A (zh) 一种基于提高人脸识别模型训练稳定性的方法
CN110008922A (zh) 用于终端设备的图像处理方法、设备、装置、介质
CN105389573B (zh) 一种基于局部三值模式分层重构的人脸识别方法
CN106095811A (zh) 一种基于最优编码的监督离散哈希的图像检索方法
CN111080754A (zh) 一种头部肢体特征点连线的人物动画制作方法及装置
CN107563327B (zh) 一种基于自步反馈的行人重识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant