CN112966648B - 基于核扩展块字典稀疏表示的遮挡人脸识别方法 - Google Patents

基于核扩展块字典稀疏表示的遮挡人脸识别方法 Download PDF

Info

Publication number
CN112966648B
CN112966648B CN202110319459.8A CN202110319459A CN112966648B CN 112966648 B CN112966648 B CN 112966648B CN 202110319459 A CN202110319459 A CN 202110319459A CN 112966648 B CN112966648 B CN 112966648B
Authority
CN
China
Prior art keywords
block
sample
dictionary
training
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110319459.8A
Other languages
English (en)
Other versions
CN112966648A (zh
Inventor
童莹
马杲东
曹雪虹
赵小燕
陈瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202110319459.8A priority Critical patent/CN112966648B/zh
Publication of CN112966648A publication Critical patent/CN112966648A/zh
Application granted granted Critical
Publication of CN112966648B publication Critical patent/CN112966648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374—Thesaurus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于核扩展块字典稀疏表示的遮挡人脸识别方法，包括步骤(S1))：构建训练样本集X，将训练样本集X划分为B个训练块样本集步骤(S2)：构建标准样本集N；步骤(S3)：构建测试样本集Y；步骤(S4)：构建训练块样本的遮挡字典和待测块样本的遮挡字典得到混合完备遮挡块字典步骤(S5)：根据混合完备遮挡块字典采用SRC模型对待测样本进行线性稀疏表示分类，进行该待测样本的遮挡人脸识别。本发明通过对原始图像分块，构建块图像集，其目的是充分考虑非约束人脸图像数据的复杂性，以及人脸空间拓扑信息在遮挡人脸识别中的重要性，相比原始图像，块图像更集中关注人脸结构特征或遮挡信息，更有利于遮挡人脸的准确识别。

Description

基于核扩展块字典稀疏表示的遮挡人脸识别方法
技术领域
本发明涉及人机交互中人脸被遮挡情况下的个人身份验证与识别技术领域，具体涉及一种基于核扩展块字典稀疏表示的遮挡人脸识别方法。
背景技术
近年来，由于人工智能、计算机视觉、物联网通信等技术的发展，人脸识别技术在实际生活中得到广泛应用，例如，智能家电、智能零售、智能门禁等。然而，上述应用均需要拍摄对象保持正脸、无遮挡。在实际应用中，目标对象面部常常受围巾、帽子、口罩、眼镜等配饰遮挡或者光照遮挡，导致身份验证的准确性下降。因此，如何消除这些遮挡因素的干扰，提高实际应用中人脸识别的准确性，已经成为遮挡人脸识别的技术难点。
2009年，Wright等首次将稀疏表示(Sparse Representation，SR)理论应用到人脸识别中，提出了一种稀疏表示分类算法(sparse representation based classification，SRC)。该算法采用训练样本构建字典，并约束待测样本的编码系数L1范数最小，旨在从样本字典中选择最小子集对待测样本进行线性表示，最后，计算待测样本与每类重构样本的残差，根据最小残差划分类别。SRC的目标函数如式(1)所示，其中，A为样本字典，y为待测样本，α为稀疏编码系数。
根据稀疏正则化理论可知，在式(1)中只要样本字典A包含足够丰富的样本原子，即样本原子表征了人脸识别中存在的各种可能干扰情况，则待测样本可由样本字典无失真的线性稀疏重构。然而，实际应用中，采集的人脸图像可能存在年龄、外界环境光照、面部表情、配饰遮挡、头部姿态等干扰因素的影响，这导致样本字典A无法涵盖各种可能变化情况。同时，在遮挡情况下，人脸面部的部分信息损失，这也导致待测样本无法由遮挡样本准确的线性表示，容易被误判别。
由此可见，仅采用单一的样本字典A表征待测样本是不合适的，因此，Wright在SRC模型中又引入单位矩阵I作为扩展噪声字典，旨在将干扰因素从原始图像中分离出来，人脸本质结构特征由样本字典表示，而外界干扰因素由噪声字典表示，用以进一步提高待测样本线性稀疏表示的准确性，目标函数如式(2)所示。
2012年，Deng对SRC进行改进，提出了一种扩展稀疏表示分类算法(extendedsparse representation-based classifier，ESRC)。该方法用标准样本(正脸无干扰人脸图像)减去变化样本(存在遮挡、表情、光照等干扰的人脸图像)，它们之间的差值构建了类内差异字典V，代替了传统SRC中的单位干扰矩阵I。可以看出，相比传统SRC算法，ESRC构建的类内差异字典V具有更丰富的干扰信息，与样本字典A相结合，可以更准确描述待测样本。2016年，Chen又提出自适应噪声字典(Adaptive Noise Dictionary,AND)，首先采用迭代加权鲁棒主成分分析方法自适应提取待测样本中可能存在的各种遮挡信息，然后联合无遮挡的训练样本，实现待测样本的准确线性表示。
分析上述SRC及其改进算法的实现原理，我们发现，这些方法均是在式(2)的基础上进行改进，其主要目的是采用不同方法获取准确的扩展噪声字典，旨在将干扰信息从原始人脸图像中分离出来，用以进一步提高待测样本线性稀疏表示的准确性。虽然在遮挡人脸识别中取得了一定的效果，但仍存在以下问题：
1、样本字典A中的原子均是由原始图像表示，这导致基于图像构建的样本字典存在大量的像素冗余信息，同类原子之间缺乏一致性，异类原子之间缺乏判别性；同时，字典原子是由二维图像转换为一维列向量表示，这导致字典原子的维度远远大于原子个数，容易出现“小样本”问题，不能保证在解空间获得最优稀疏解；
2、上述构建扩展噪声字典V的方法仍存在局限性。例如，传统SRC算法采用单位矩阵I作为扩展噪声字典，仅可以描述非连续的单一干扰问题，如随机像素损坏和小规模非实物遮挡等。ESRC的类内差异字典虽然比单位矩阵更有效，但它既包含了样本的遮挡信息，也包含了非遮挡信息，对遮挡样本进行线性稀疏表示时效果不佳。同时，ESRC的类内差异字典是采用变化样本与标准样本相减获得，其中存在大量的像素冗余信息。若变化样本选择不充分，也会导致获取的样本间的类内差异信息不充分，影响人脸识别的准确性；
3、上述方法均是对整个人脸图像进行分析，没有考虑人脸空间拓扑信息在遮挡人脸识别中的重要性。
发明内容
本发明的目的是克服现有技术中稀疏表示的遮挡人脸识别算法存在的问题。本发明在KDA低维投影子空间中分别对各个块图像集的样本字典和遮挡字典的构建方法进行改进，旨在使样本字典更具判别性，对原始图像分块，构建块图像集，其主要目的是充分考虑非约束人脸图像数据的复杂性，以及人脸空间拓扑信息在遮挡人脸识别中的重要性，相比原始图像，块图像更集中关注人脸结构特征或遮挡信息，更有利于遮挡人脸的准确识别。
为了达到上述目的，本发明所采用的技术方案是：
一种基于核扩展块字典稀疏表示的遮挡人脸识别方法，：包括以下步骤，
步骤(S1)：构建训练样本集X＝[X1,X2,...,Xc]＝[x1,x2,...xn]∈Rd×n，c为训练样本集中的类别数，X1,X2,...,Xc表示c个子集，将训练样本集X划分为B个训练块样本集在对应块样本空间上学习核判别分析(Kernel Discriminant Analysis，KDA)算法，得到KDA投影矩阵/>
步骤(S2)：构建标准样本集N，并同理步骤(S1)将其划分为B个标准块样本集根据式(3)采用步骤(S1)得到KDA投影矩阵/>分别对对应位置的标准块样本集/>进行低维投影，得到对应的低维基本块字典/>
其中，表示采用非线性核函数对数据进行高维映射，该非线性核函数为径向基核函数，T表示对矩阵进行转置运算；
步骤(S3)：构建测试样本集Y＝[y1,y2,...,ys]∈RMN×s，
其中R为实数集合，MN表示样本的列向量维数，s表示样本个数，Y∈RMN×s表示测试样本集Y中包含s个样本，每个样本用维数为MN的列向量表示；
步骤(S4)：采用KDA算法分别提取训练样本集X里相同局部区域的训练块样本和测试样本集Y里相同局部区域的待测块样本/>中的遮挡信息，构建训练块样本/>的遮挡字典/>和待测块样本/>的遮挡字典/>得到混合完备遮挡块字典/>
步骤(S5)：根据混合完备遮挡块字典采用SRC模型对待测样本进行线性稀疏表示分类，进行该待测样本的遮挡人脸识别。
优选的，所述步骤(S1)中，训练块样本集指包含表情、光照、遮挡具有丰富类内变化信息的训练块样本集/> 其中，c为训练样本类别数，/>表示第i类样本的第/>个块图像集，包含ni个块图像，每个块图像用d维列向量表示，则/>训练块样本集/>的总样本数为n1+n2+...+nc＝n；依次学习B个训练块样本集的高维空间分布，得到B个KDA投影矩阵
优选的，所述步骤(S2)中：标准块样本集是指从m个对象中各取出一张无干扰正脸图像,然后将每张无干扰正脸图像均划分为B块，构建B个标准块样本集其中，/>为第i个对象的第/>个块图像的列向量表示，其中d为列向量维数，Rd×m表示标准块样本集/>中包含m个样本，每个样本用维数为d的列向量表示。
优选的，所述步骤(S4)：包括以下步骤：
(S41)：基于式(4)采用步骤(S1)得到的KDA投影矩阵对训练块样本集/>中的遮挡块样本子集/>和标准块样本子集/>进行低维映射，将低维向量相减，则得到各个训练块样本集/>的遮挡块字典/>
(S42)：从原来未分割的训练样本集X＝[X1,X2,...,Xc]中随机选取l类子集X1,X2,...,Xl，采用鲁棒主成分分析算法计算得到待测样本yi∈RMN×1，其中yi是尺寸为M×N图像的列向量表示，在这l类图像子集中的遮挡信息b1,b2,...,bl，并将得到的l个遮挡信息取均值，则得到待测样本yi的遮挡信息
(S43)：采用式(5)计算待测样本yi的近似样本yi *：
yi *＝yi-k*zi (5)；
其中k为系数；
(S44)：同理步骤(S1)将待测样本yi和近似样本yi *分块，得到B个待测块样本和近似块样本/>根据式(6)采用步骤(S1)得到的KDA投影矩阵/>对待测块样本/>和近似块样本/>进行低维投影，将两者相减，则得到待测样本yi的各个待测块样本/>的遮挡信息/>
(S45)：重复步骤(S42)～(S44)，通过公式(6)计算得到所有测试样本集Y＝[y1,y2,...,ys]∈RMN×s中所有待测块样本的遮挡信息，构建得到测试样本集Y的B个自适应遮挡块字典其中/>表示为第i个待测样本的第个块图像的遮挡信息；
(S46)：将训练样本和测试样本相同局部区域的遮挡块字典和/>相结合，得到B个混合完备遮挡块字典/>
优选的，所述步骤(S5)中：根据混合完备遮挡块字典采用SRC模型对待测样本进行线性稀疏表示分类，包括以下步骤：
(S51)：从测试样本集Y中任取一待测样本y，将其分割成B个待测块样本
(S52)：基于以下SRC的目标函数式(7)依次优化求解步骤(S51))所有待测块样本的稀疏编码系数；
其中， 低维基本块字典，/>为混合完备遮挡块字典，/>为对应低维基本块字典/>的编码系数，/>为对应混合完备遮挡块字典/>的编码系数，λ为正则化系数；
(S53)：并根据以下式(8)计算所有待测块样本与每一类重构块样本的残差，最后，根据式(9)计算得到待测样本y的重构残差，依据最小残差划分类别；
其中表示对应低维基本块字典/>的编码系数/>中的第j类系数(j＝1,2,...,c)，/>表示对应混合完备遮挡块字典/>的编码系数，/>表示第/>个待测块样本/>与对应的第/>个第j类重构块样本的残差(j＝1,2,...,c)/> 表示判定待测样本y的标签为最小/>值对应的标签。
本发明的有益效果是：
(1)对原始图像分块，构建块图像集，其主要目的是充分考虑非约束人脸图像数据的复杂性，以及人脸空间拓扑信息在遮挡人脸识别中的重要性，相比原始图像，块图像更集中关注人脸结构特征或遮挡信息，更有利于遮挡人脸的准确识别。
(2)本发明摒弃了在原始图像空间中构建字典的传统策略，而是在低维判别特征空间改进字典的构建方法，旨在消除像素间冗余信息，获得更具判别性和表征性的字典。
(3)由于真实环境采集的人脸图像在样本空间中呈非线性复杂流形分布，传统的线性降维方法，如线性判别分析(Linear Discriminant Analysis，LDA)不能有效处理这种非线性不可分的情况，因此，本发明采用核判别分析(kernel discriminant analysis，KDA)算法计算各个块图像空间的最佳低维投影方向，得到更具判别性的低维子空间。
(4)本发明在KDA低维投影子空间中改进各个块图像集样本字典的构建方法，既去除了原始块图像像素间的冗余信息，提高了字典原子的判别性，又降低了字典原子维度，提高了模型的运算效率，保证在解空间中获得最优稀疏解。
(5)本发明在KDA低维投影子空间中改进训练块图像集遮挡字典的构建方法，旨在消除像素间冗余信息和人脸结构特征，使训练样本的遮挡字典更具表征性。同时，再采用鲁棒主成分分析算法在KDA低维投影子空间中提取待测样本块图像的遮挡信息，目的是对遮挡字典进行补充，使遮挡信息更具有完备性和自适应性。
综上，本发明在KDA低维投影子空间中分别对各个块图像集的样本字典和遮挡字典的构建方法进行改进，旨在使样本字典更具判别性，其仅包含人脸结构特征，而不含有像素冗余信息和干扰信息，同时，使遮挡字典更具表征性，其仅包含训练样本和测试样本的遮挡信息，而无人脸结构特征，两者相结合，用以有效提高遮挡人脸识别的准确性。
附图说明
图1是本发明的块图像集构建示意图；
图2是本发明基于核扩展块字典稀疏表示的遮挡人脸识别方法的流程实现框图；
图3是本发明AR库中某一类人的人脸仿真效果图；
图4是本发明的AR库中某一张人脸图像不同分块示意图；
图5是本发明CAS-PEAL库中的部分人脸仿真效果图；
图6是k取不同值时本发明的混合识别率曲线图；
图7是本发明Extended Yale B数据库中部分样本仿真效果图。
具体实施方式
下面将结合说明书附图，对本发明作进一步的说明。
本发明在AR库，CAS-PEAL库和Extended Yale B三种人脸数据库上进行实验，实验环境为win10 64位操作系统，8GB内存，MatlabR2017a仿真平台。
如图2所示以任一个块样本集为例描述的本发明的实现过程，本发明基于核扩展块字典稀疏表示的遮挡人脸识别方法：包括以下步骤，
步骤(S1)：构建训练样本集X＝[X1,X2,...,Xc]＝[x1,x2,...xn]∈Rd×n，c为训练样本集中的类别数，X1,X2,...,Xc表示c个子集，将训练样本集X划分为B个训练块样本集在对应块样本空间上学习KDA算法，得到KDA投影矩阵/>本发明中涉及的KDA算法指核判别分析(kernel discriminant analysis，KDA)算法；
步骤(S2)：构建标准样本集N，并同理步骤(S1)将其划分为B个标准块样本集根据式(3)采用步骤(S1)得到KDA投影矩阵/>分别对对应位置的标准块样本集/>进行低维投影，得到对应的低维基本块字典/>
其中，表示采用非线性核函数对数据进行高维映射，该非线性核函数为径向基核函数，T表示对矩阵进行转置运算；
步骤(S3)：构建测试样本集Y＝[y1,y2,...,ys]∈RMN×s，
其中R为实数集合，MN表示样本的列向量维数，s表示样本个数，Y∈RMN×s表示测试样本集Y中包含s个样本，每个样本用维数为MN的列向量表示；
步骤(S4)：采用KDA算法分别提取训练样本集X里相同局部区域的训练块样本和测试样本集Y里相同局部区域的待测块样本/>中的遮挡信息，构建训练块样本/>的遮挡字典/>和待测块样本/>的遮挡字典/>得到混合完备遮挡块字典/>
步骤(S5)：根据混合完备遮挡块字典采用SRC模型对待测样本进行线性稀疏表示分类，进行该待测样本的遮挡人脸识别。
进一步的，步骤(S1)中，训练块样本集指包含表情、光照、遮挡具有丰富类内变化信息的训练块样本集/> 其中，c为训练样本类别数，/>表示第i类样本的第/>个块图像集，包含ni个块图像，每个块图像用d维列向量表示，则/>训练块样本集/>的总样本数为n1+n2+...+nc＝n；依次学习B个训练块样本集的高维空间分布，得到B个KDA投影矩阵
进一步的，步骤(S2)中：标准块样本集是指从m个对象中各取出一张无干扰正脸图像,然后将每张无干扰正脸图像均划分为B块，构建B个标准块样本集其中，/>为第i个对象的第/>个块图像的列向量表示，其中d为列向量维数，Rd×m表示标准块样本集/>中包含m个样本，每个样本用维数为d的列向量表示。
进一步的，步骤(S4)：包括以下步骤：
(S41)：基于式(4)采用步骤(S1)得到的KDA投影矩阵对训练块样本集/>中的遮挡块样本子集/>和标准块样本子集/>进行低维映射，将低维向量相减，则得到各个训练块样本集/>的遮挡块字典/>
(S42)：从原来未分割的训练样本集X＝[X1,X2,...,Xc]中随机选取l类子集X1,X2,...,Xl，采用鲁棒主成分分析算法计算得到待测样本yi∈RMN×1，其中yi是尺寸为M×N图像的列向量表示，在这l类图像子集中的遮挡信息b1,b2,...,bl，并将得到的l个遮挡信息取均值，则得到待测样本yi的遮挡信息
(S43)：采用式(5)计算待测样本yi的近似样本yi *：
yi *＝yi-k*zi (5)；
其中k为系数；
(S44)：同理步骤(S1)将待测样本yi和近似样本yi *分块，得到B个待测块样本和近似块样本/>根据式(6)采用步骤(S1)得到的KDA投影矩阵/>对待测块样本/>和近似块样本/>进行低维投影，将两者相减，则得到待测样本yi的各个待测块样本/>的遮挡信息/>
(S45)：重复步骤(S42)～(S44)，通过公式(6)计算得到所有测试样本集Y＝[y1,y2,...,ys]∈RMN×s中所有待测块样本的遮挡信息，构建得到测试样本集Y的B个自适应遮挡块字典其中/>表示为第i个待测样本的第个块图像的遮挡信息；
(S46)：将训练样本和测试样本相同局部区域的遮挡块字典和/>相结合，得到B个混合完备遮挡块字典/>
进一步的，步骤(S5)中：根据混合完备遮挡块字典采用SRC模型对待测样本进行线性稀疏表示分类，包括以下步骤：
(S51)：从测试样本集Y中任取一待测样本y，将其分割成B个待测块样本
(S52)：基于以下SRC的目标函数式(7)依次优化求解步骤(S51))所有待测块样本的稀疏编码系数；
其中， 低维基本块字典，/>为混合完备遮挡块字典，/>为对应低维基本块字典/>的编码系数，/>为对应混合完备遮挡块字典/>的编码系数，λ为正则化系数；
(S53)：并根据以下式(8)计算所有待测块样本与每一类重构块样本的残差，最后，根据式(9)计算得到待测样本y的重构残差，依据最小残差划分类别；
其中表示对应低维基本块字典/>的编码系数/>中的第j类系数(j＝1,2,...,c)，/>表示对应混合完备遮挡块字典/>的编码系数，/>表示第/>个待测块样本/>与对应的第/>个第j类重构块样本的残差(j＝1,2,...,c)/> 表示判定待测样本y的标签为最小/>值对应的标签。
实施例1：在AR数据库进行实验：
首先如图1所示构建块,图1中取B＝4：
AR人脸数据库中包含126类人(56位女性，70位男性)，共4000多张正面对齐人脸。每类人分两个阶段拍摄，每个阶段13张图像，其中光照变化图像4张，表情变化3张，眼镜遮挡图像3张，围脖遮挡3张。本发明选取了100类人进行实验，并对图像进行裁剪及归一化处理，裁剪后的尺寸大小为120×100。图3为AR人脸库中部分样本图像。
在AR数据库上训练样本集、标准样本集和测试样本集的设计如下：
(1)选取第一阶段中100类人的第一张正脸无干扰图像构建标准样本集，共100张样本；
(2)选取第一阶段中100类人的剩余12张干扰图像构建训练样本集，共1200张样本；
(3)选取第二阶段中100类人的所有图像构建测试样本集，共1300张样本。
首先分析不同分块情况下本发明在AR数据库上的识别效果，实验结果如表1所示。从表中可以看出，当图像分割成2×2和1×4块时(如图3所示)，识别效果最佳，在混合干扰条件下，两者均达到99.23％的最高识别率。考虑到2×2分块方式更符合人脸结构特征，因此，在后续实验中，本发明选择在2×2分块方式上进行。
表1不同分块情况下本发明在AR数据库上的识别率(％)
下面分析在2×2分块基础下设置不同分块重叠率的识别效果。块与块之间的重叠率取值从0变化到0.7，在AR数据库上的仿真结果如表2所示。从表2中可以看出，当重叠率为0.5时，识别率达到了99.85％，比没有重叠的分块结果高出0.62％，当重叠率为0.7时，识别率达到99.92％，比没有重叠的分块结果高出了0.69％。可以看出，当块图像之间有重叠时，构建的冗余的块图像集有助于提高样本字典的判别性和遮挡字典的表征性，但考虑重叠率太高会导致块图像集增多，增加了算法的计算复杂度，因此，综合实验结果和效率，本发明取2×2分块和0.5的重叠率进行实验。
表2 AR数据库中有重叠分块的识别率(％)
最后，比较本发明与KDA和KED的实验结果，如表3所示。从表中可以看出，本发明在各种干扰条件以及混合干扰条件下，实验结果均最佳，这充分说明本发明设计的样本字典和遮挡字典对人脸识别中常见的光照、表情、遮挡等各种干扰均鲁棒有效，本发明具有先进性。
表3 AR数据库中的识别率(％)
实施例2：在CAS-PEAL数据库进行实验：
同实施例1首先如图1所示构建块,图1中取B＝4：
CAS-PEAL人脸数据库包含1040类人，共99594张人脸图像(其中包括595位男性和445位女性)。所有图像在专门的采集环境中采集，涵盖了姿态、表情、饰物和光照4种主要变化条件,部分人脸图像具有背景、距离和时间跨度的变化。本发明选择了其中9031张图像进行实验，部分样本图像如图5所示。
在CAS-PEAL数据库上训练样本集、标准样本集和测试样本集的设计如下：
(1)具有丰富类内变化的训练样本集中包含光照变化的200类人，表情变化的100类人以及配饰遮挡的20类人，每类人有4张图像，共1280张变化样本。同时，训练样本集中还包含每类人1张正脸无干扰图像，共273张标准样本，它们共同组成了训练样本集。
(2)标准样本集由CAS-PEAL数据库中1040类人，每类人取1张正脸无干扰图像构成，共1040张样本。
(3)测试样本集是去除训练样本和标准样本后的剩余样本组成，共6711张样本，包含了饰物遮挡子集、光照子集、表情子集、距离子集(拍摄距离不同)、时间子集(人脸拍摄的时间间隔不同)以及背景子集(拍摄背景不同)6个子集。表4是不同分块情况下本发明在PEAL-CAS数据库上的实验结果，从表中可以看出，当图像2×2分块时，识别效果最好，识别率比不分块情况高出了0.62％。可以看出，2×2分块不仅适合于AR数据库，对于复杂的PEAL-CAS数据库同样也是适用的。
表4不同分块情况下本发明在PEAL-CAS数据库上的识别效果
本发明与KDA以及KED的实验结果如表5所示。这里，本发明设置2×2分块、0.5的重叠率。从表中可以看出，除了在光照干扰条件下，本发明的实验结果略低于KED，在其他干扰条件下，本发明实验结果均最佳。尤其饰物遮挡时，本发明识别率为97.79，远远高于其他算法。这充分说明，本发明在样本字典和扩展噪声字典上的改进有助于提高遮挡人脸图像线性表示的准确性。
表5 PEAL-CAS数据库中的识别率(％)
为了说明式(5)中系数k的选择对本发明的影响，我们将k在[0,1]中取值。图6展示了k取不同值时本发明对具有混合干扰条件的人脸图像的识别结果。从图中可以看出，当k取0时，此时识别率为92.92％，k取0.1时，识别率为93.97％，k取1时，识别率又降至92.04％。这说明，当k取值为0时，此时遮挡字典中只包含训练样本的遮挡信息，无待测样本的遮挡信息，识别效果受到影响；而当k取值较大时，例如k＝1，此时用式(5)计算得到的近似样本y*损失了较多的人脸结构特征，将近似样本y*非线性映射到高维空间之后，与高维空间中的待测样本φ(y)产生很大的偏离，导致两者在KDA低维空间的投影差值不能很好表示待测样本的遮挡信息，识别准确率也降低了。综上，只有当k取值较小的时候，例如k＝0.1，计算得到的近似样本y*既消除了部分遮挡因素又保留了较多人脸结构特征，这时它和待测样本在KDA低维空间的投影差值可以有效表示待测样本的遮挡信息，提高了识别效果。
实施例3：在Extended Yale B数据库进行实验：
同实施例1首先如图1所示构建块,图1中取B＝4：
Extended Yale B数据库包含了38类人在不同光照条件下采集的人脸正视图，每类人约64张图像，共2414张样本。图7是Extended Yale B库中的部分样本图像以及添加了20％遮挡的图像。
在Extended Yale B数据库上训练样本集、标准样本集和测试样本集的设计如下：
(1)每类人选择7张光照图像构建训练样本集，共266张样本；
(2)每类人选择一张正脸无光照干扰图像构建标准样本集，共38张样本；
(3)去除标准样本和训练样本后的剩余样本构建测试样本集，共2110张样本。
本发明在测试样本集上设置了五个实验，实验1是对数据库中原图进行实验，不在图像中添加任何的遮挡。实验2～实验5是对添加了位置随机遮挡块的图像进行实验，实验二～实验五中遮挡块面积分别占总图像面积的20％，30％，40％，50％。本发明与KDA、KED的实验结果如表6所示。本发明设置2×2分块、0.5的重叠率。
表6 Extended Yale B数据库中的识别率(％)
从表中可以看出，随着遮挡块面积的增大，所有方法的识别率都有不同程度的降低，但本发明的识别率降低最少，尤其当遮挡块面积占总面积50％时本发明的识别率比KDA和KED高出近16％，识别率仍达到86.02％可见，本发明可以有效消除环境光照干扰以及大面积块遮挡的混合影响，具有较好的鲁棒性。
本发明分别在CAS-PEAL、AR和Extended Yale B三个数据库上进行实验仿真，从实验结果可以看出，本发明与现有技术相比，其创新点在解决遮挡人脸识别问题上是有效的、可行的，具体归纳如下：
1、本发明摒弃了在原始图像空间中构建字典的传统策略，而是基于KDA低维判别特征空间改进字典构建方法。一方面对原始数据进行KDA降维，可以有效消除像素间的冗余信息，使低维数据更具判别性；另一方面采用改进的字典构建方法，也使本发明的样本字典更具判别性，遮挡字典更具表征性，有利于遮挡人脸的准确识别。
2、本发明在构建遮挡字典时，除了考虑训练样本中包含的遮挡信息，同时也自适应的提取测试样本中包含的遮挡信息，克服了实际应用中测试样本的遮挡信息可能与训练样本的遮挡信息不相同的局限性，本发明构建的遮挡字典更完备。
3、本发明不受样本选择、特征提取等方面的限制，实现步骤简单，因此本发明相比现有技术更加易用可行。同时，本发明是对降维后数据再处理，系统计算效率高，具有实用价值。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.基于核扩展块字典稀疏表示的遮挡人脸识别方法，其特征在于：包括以下步骤，
步骤(S1)：构建训练样本集X＝[X1,X2,...,Xc]＝[x1,x2,...xn]∈Rd×n，c为训练样本集中的类别数，X1,X2,...,Xc表示c个子集，将训练样本集X划分为B个训练块样本集在对应块样本空间上学习KDA算法，得到KDA投影矩阵/>
步骤(S2)：构建标准样本集N，并同理步骤(S1)将其划分为B个标准块样本集根据式(3)采用步骤(S1)得到KDA投影矩阵/>分别对对应位置的标准块样本集/>进行低维投影，得到对应的低维基本块字典/>
其中，表示采用非线性核函数对数据进行高维映射，该非线性核函数为径向基核函数，T表示对矩阵进行转置运算；
步骤(S3)：构建测试样本集Y＝[y1,y2,...,ys]∈RMN×s，
其中R为实数集合，MN表示样本的列向量维数，s表示样本个数，Y∈RMN×s表示测试样本集Y中包含s个样本，每个样本用维数为MN的列向量表示；
步骤(S4)：采用KDA算法分别提取训练样本集X里相同局部区域的训练块样本和测试样本集Y里相同局部区域的待测块样本/>中的遮挡信息，构建训练块样本/>的遮挡字典/>和待测块样本/>的遮挡字典/>得到混合完备遮挡块字典/>具体包括以下步骤：
(S41)：基于式(4)采用步骤(S1)得到的KDA投影矩阵对训练块样本集/>中的遮挡块样本子集/>和标准块样本子集/>进行低维映射，将低维向量相减，则得到各个训练块样本集/>的遮挡块字典/>
(S42)：从原来未分割的训练样本集X＝[X1,X2,...,Xc]中随机选取l类子集X1,X2,...,Xl，采用鲁棒主成分分析算法计算得到待测样本yi∈RMN×1，其中yi是尺寸为M×N图像的列向量表示，在这l类图像子集中的遮挡信息b1,b2,...,bl，并将得到的l个遮挡信息取均值，则得到待测样本yi的遮挡信息
(S43)：采用式(5)计算待测样本yi的近似样本yi *：
yi *＝yi-k*zi (5)；
其中k为系数；
(S44)：同理步骤(S1)将待测样本yi和近似样本yi *分块，得到B个待测块样本和近似块样本/>其中：/>根据式(6)采用步骤(S1)得到的KDA投影矩阵/>对待测块样本/>和近似块样本/>进行低维投影，将两者相减，则得到待测样本yi的各个待测块样本/>的遮挡信息/>
(S45)：重复步骤(S42)～(S44)，通过公式(6)计算得到所有测试样本集Y＝[y1,y2,...,ys]∈RMN×s中所有待测块样本的遮挡信息，构建得到测试样本集Y的B个自适应遮挡块字典其中，/> 表示为第i个待测样本的第/>个块图像的遮挡信息；
(S46)：将训练样本和测试样本相同局部区域的遮挡块字典和/>相结合，得到B个混合完备遮挡块字典/>
步骤(S5)：根据混合完备遮挡块字典采用SRC模型对待测样本进行线性稀疏表示分类，进行该待测样本的遮挡人脸识别；所述根据混合完备遮挡块字典/>采用SRC模型对待测样本进行线性稀疏表示分类，包括以下步骤：
(S51)：从测试样本集Y中任取一待测样本y，将其分割成B个待测块样本
(S52)：基于以下SRC的目标函数式(7)依次优化求解步骤(S51))所有待测块样本的稀疏编码系数；
其中： 低维基本块字典，/>为混合完备遮挡块字典，/>为对应低维基本块字典/>的编码系数，/>为对应混合完备遮挡块字典/>的编码系数，λ为正则化系数；
(S53)：并根据以下式(8)计算所有待测块样本与每一类重构块样本的残差，最后，根据式(9)计算得到待测样本y的重构残差，依据最小残差划分类别；
其中： 表示对应低维基本块字典/>的编码系数/>中的第j类系数，j＝1,2,...,c，/>表示对应混合完备遮挡块字典/>的编码系数，/>表示第/>个待测块样本/>与对应的第/>个第j类重构块样本的残差，/>表示判定待测样本y的标签为最小/>值对应的标签。
2.根据权利要求1所述的基于核扩展块字典稀疏表示的遮挡人脸识别方法，其特征在于：步骤(S1)中，训练块样本集指包含表情、光照、遮挡具有丰富类内变化信息的训练块样本集/>其中：/>c为训练样本类别数，表示第i类样本的第/>个块图像集，包含ni个块图像，每个块图像用d维列向量表示，则训练块样本集/>的总样本数为n1+n2+...+nc＝n；依次学习B个训练块样本集的高维空间分布，得到B个KDA投影矩阵
3.根据权利要求1所述的基于核扩展块字典稀疏表示的遮挡人脸识别方法，其特征在于：步骤(S2)中：标准块样本集是指从m个对象中各取出一张无干扰正脸图像,然后将每张无干扰正脸图像均划分为B块，构建B个标准块样本集/>其中，/>为第i个对象的第/>个块图像的列向量表示，其中d为列向量维数，Rd×m表示标准块样本集/>中包含m个样本，每个样本用维数为d的列向量表示。
CN202110319459.8A 2021-03-25 2021-03-25 基于核扩展块字典稀疏表示的遮挡人脸识别方法 Active CN112966648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110319459.8A CN112966648B (zh) 2021-03-25 2021-03-25 基于核扩展块字典稀疏表示的遮挡人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110319459.8A CN112966648B (zh) 2021-03-25 2021-03-25 基于核扩展块字典稀疏表示的遮挡人脸识别方法

Publications (2)

Publication Number Publication Date
CN112966648A CN112966648A (zh) 2021-06-15
CN112966648B true CN112966648B (zh) 2023-10-10

Family

ID=76278359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110319459.8A Active CN112966648B (zh) 2021-03-25 2021-03-25 基于核扩展块字典稀疏表示的遮挡人脸识别方法

Country Status (1)

Country Link
CN (1) CN112966648B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004902A (zh) * 2010-11-12 2011-04-06 湖南大学 一种基于小波和稀疏表示理论的近红外人脸图像识别方法
CN103854015A (zh) * 2014-03-18 2014-06-11 西北工业大学 基于联合稀疏描述的多姿态三维人脸识别方法
CN104008370A (zh) * 2014-05-19 2014-08-27 清华大学 一种视频人脸识别方法
CN104574555A (zh) * 2015-01-14 2015-04-29 四川大学 基于稀疏表示的人脸分类算法的远距离考勤方法
CN107025444A (zh) * 2017-04-08 2017-08-08 华南理工大学 分块协同表示嵌入核稀疏表示遮挡人脸识别方法和装置
CN111723759A (zh) * 2020-06-28 2020-09-29 南京工程学院 基于加权张量稀疏图映射的非约束人脸识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9275309B2 (en) * 2014-08-01 2016-03-01 TCL Research America Inc. System and method for rapid face recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004902A (zh) * 2010-11-12 2011-04-06 湖南大学 一种基于小波和稀疏表示理论的近红外人脸图像识别方法
CN103854015A (zh) * 2014-03-18 2014-06-11 西北工业大学 基于联合稀疏描述的多姿态三维人脸识别方法
CN104008370A (zh) * 2014-05-19 2014-08-27 清华大学 一种视频人脸识别方法
CN104574555A (zh) * 2015-01-14 2015-04-29 四川大学 基于稀疏表示的人脸分类算法的远距离考勤方法
CN107025444A (zh) * 2017-04-08 2017-08-08 华南理工大学 分块协同表示嵌入核稀疏表示遮挡人脸识别方法和装置
CN111723759A (zh) * 2020-06-28 2020-09-29 南京工程学院 基于加权张量稀疏图映射的非约束人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
semi-supervised sparse representation based classification for face recognition with insufficient labeled samples;Yuan Gao等;IEEE Transactions on image processing;第26卷(第5期);2545-2560 *
基于核扩展混合块字典的单样本人脸识别研究;马杲东等;计算机技术与发展;第32卷(第2期);104-110+116 *
基于随机投影与加权稀疏表示残差的光照鲁棒人脸识别方法;李燕等;计算机工程与科学;第40卷(第11期);2015-2022 *

Also Published As

Publication number Publication date
CN112966648A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
CN108875459B (zh) 一种基于稀疏系数相似的加权稀疏表示人脸识别方法及系统
CN101630364A (zh) 基于融合特征的步态信息处理与身份识别方法
CN110659665B (zh) 一种异维特征的模型构建方法及图像识别方法、装置
CN109145992A (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN108647690B (zh) 基于判别稀疏保持投影的非约束人脸图像降维方法
CN105138993A (zh) 建立人脸识别模型的方法及装置
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN112580590A (zh) 一种基于多语义特征融合网络的指静脉识别方法
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
CN110796022B (zh) 一种基于多流形耦合映射的低分辨人脸识别方法
CN113537027B (zh) 基于面部划分的人脸深度伪造检测方法及系统
CN113095305B (zh) 一种医药异物高光谱分类检测方法
CN112966649B (zh) 基于核扩展字典稀疏表示的遮挡人脸识别方法
CN111695455B (zh) 一种基于耦合判别流形对齐的低分辨人脸识别方法
Yang et al. A fuzzy-statistics-based principal component analysis (FS-PCA) method for multispectral image enhancement and display
Sun et al. [Retracted] Research on Face Recognition Algorithm Based on Image Processing
CN114067915A (zh) 一种基于深度对抗变分自编码器的scRNA-seq数据降维方法
Zuobin et al. Feature regrouping for cca-based feature fusion and extraction through normalized cut
Ma et al. Multiscale 2-D singular spectrum analysis and principal component analysis for spatial–spectral noise-robust feature extraction and classification of hyperspectral images
Ling et al. A constrained sparse-representation-based binary hypothesis model for target detection in hyperspectral imagery
CN115439679A (zh) 一种联合多注意及Transformer的高光谱图像分类方法
CN111695507B (zh) 一种基于改进VGGNet网络和PCA的静态手势识别方法
CN111611963B (zh) 一种基于近邻保持典型相关分析的人脸识别方法
CN112800882A (zh) 一种基于加权双流残差网络的口罩人脸姿态分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant