CN113158812A - 基于混合扩展块字典稀疏表示的单样本人脸识别方法 - Google Patents
基于混合扩展块字典稀疏表示的单样本人脸识别方法 Download PDFInfo
- Publication number
- CN113158812A CN113158812A CN202110321267.0A CN202110321267A CN113158812A CN 113158812 A CN113158812 A CN 113158812A CN 202110321267 A CN202110321267 A CN 202110321267A CN 113158812 A CN113158812 A CN 113158812A
- Authority
- CN
- China
- Prior art keywords
- block
- sample
- target object
- dictionary
- sparse representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/374—Thesaurus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于混合扩展块字典稀疏表示的单样本人脸识别方法,包括步骤(S1):构建非目标对象的通用数据集X;步骤(S2):构建目标对象标准样本集N;步骤(S3):构建测试样本集Y;步骤(S4):构建非目标对象的遮挡块字典和类内差异块字典步骤(S5):根据上述步骤得到的混合完备扩展块字典采用SRC模型中的加权块稀疏表示分类器对目标对象待测样本y的B个块图像进行线性稀疏表示,以进行该待测样本的遮挡人脸识别。本发明首先对人脸图像分块,然后采用KDA算法分别构建目标对象的基本块字典,非目标对象的遮挡块字典和类内差异块字典,最后采用加权块稀疏表示分类器对待测样本进行准确预测,有效提高了单样本人脸识别的准确性。
Description
技术领域
本发明涉及人机交互中识别对象仅有一个或少量标准样本的单样本人脸识别技术领域,具体涉及一种基于混合扩展块字典稀疏表示的单样本人脸识别方法。
背景技术
近年来,由于人工智能、计算机视觉、物联网通信等技术的飞速发展,人脸识别技术在实际生活中得到广泛应用,例如,智能家电、智能零售、智能监控等。然而在某些应用场景中,由于存储空间的限制以及个人隐私保护,一些人脸识别系统仅包含每个人的一张或少量正脸标准图像(即不受光照、表情、遮挡等外界因素干扰的无拍摄角度偏移的正脸图像),例如,门禁系统、身份证闸机系统、护照验证系统等。传统的人脸识别算法在这些系统中识别效果不佳。究其原因,真实环境采集的人脸图像可能受光照、表情、配饰遮挡、姿态,甚至采集数据的时间跨度等因素的影响,这导致目标对象的待测图像可能与系统中的标准图像存在很大差异,而传统人脸识别算法无法从少量标准样本中提取出有效的类内变化信息,因此也无法对可能存在各种外界干扰因素的待测样本进行准确预测。这就产生了单样本人脸识别问题,这也是目前人脸识别研究中一个具有挑战性且极富实用价值的研究课题。
目前,基于单样本人脸识别的研究方法主要分为两类:基于数据扩增的方法(sample generation based methods)和基于通用学习方法(generic learning basedmethods)。基于数据扩增的方法主要是利用真实样本合成虚拟样本或将人脸图像分割成重叠或不重叠的图像块进行识别,其目的均是为了增加训练样本的数量,用以解决传统算法在单样本人脸识别中的局限性。代表方法有SPCA、 SVD-LDA、Modular PCA、Modular LDA、DMMA、SDMME等。这类方法虽然在单样本人脸识别中起到一定作用,但仍存在两个致命缺陷:(1)合成产生的虚拟样本与标准样本是高度相关的,因此不能作为独立样本使用,提取出的类内变化信息不具有表征性。(2)将人脸图像分块识别时通常假设待测样本的块图像与训练样本在同一位置上的块图像具有相似的人脸结构特征,然而实际应用中,由于人脸姿态的变化或者配饰遮挡的影响,相同位置的待测样本与训练样本的块图像可能存在很大差异,导致上述假设不成立,单样本人脸识别效果不佳。
相比基于数据扩增的方法,基于通用学习的方法更具有普适性和推广价值。它的主要思想是构建包含各种干扰因素(光照、表情、遮挡、姿态等)的非目标对象的通用数据集,对目标对象中存在的干扰信息进行准确建模,再结合标准样本描述的人脸类别结构特征对目标对象的待测样本进行准确预测,有效解决了单样本人脸识别中目标对象的变化样本不足的局限性。2009年Wright提出的稀疏表示分类(sparse representation basedclassification,SRC)算法最具代表性。它首次引入稀疏表示(Sparse Representation,SR)理论,用单位矩阵构建扩展字典,用来弥补待测样本与标准样本之间可能存在的像素差异,再结合样本字典对待测样本进行线性稀疏重构,计算待测样本与每类近似重构样本的残差,根据最小残差划分类别。这种分类思想受到了国内外学者们的广泛关注,提出了许多改进算法。例如,2012年,Deng等提出了一种扩展稀疏表示分类 (extended sparserepresentation-based classifier,ESRC)算法,它用标准样本(正脸无干扰人脸图像)与变化样本(存在遮挡、表情、光照等干扰的人脸图像) 的差值构建扩展字典,相比SRC算法中采用的单位矩阵,ESRC的扩展字典描述了更丰富的类内变化信息,有助于进一步提高待测样本的预测准确性。2013 年,Yang等提出了稀疏变化字典学习(Sparse VariationDictionary Learning, SVDL)方法,2015年,Wei等提出了鲁棒辅助字典学习(RobustAuxiliary Dictionary Learning,RADL)方法,它们均是从非目标对象的变化样本中学习更具表征性的类内变化字典,在不引入人脸遮挡部分先验信息的前提下,有效提高了单样本人脸识别的准确性。2016年,Chen等又采用迭代加权鲁棒主成分分析方法自适应提取待测样本中可能存在的各种干扰信息,再联合无遮挡的训练样本,构建待测样本的自适应噪声字典(Adaptive Noise Dictionary,AND),实现待测样本的准确预测。
分析上述方法我们发现,这些方法均是基于稀疏表示模型的改进,其主要目的是从非目标对象的通用数据集中获取准确的扩展字典,对目标对象中存在的类内干扰信息进行准确建模,从而进一步提高具有各种面部变化情况的待测样本的线性稀疏表示的准确性。上述基于通用学习的方法虽然在单样本人脸识别中取得了令人瞩目的效果,但仍存在以下问题:
(1)上述方法均假设用于构建扩展字典的非目标对象的通用数据集需要包含足够丰富的面部变化情况,才能保证对目标对象中可能存在的各种未知变化进行准确预测。然而,在实际应用中,要收集到足够多的满足各种变化的通用样本是一项艰巨的任务。
(2)上述字典中的原子均是由原始图像表示,这导致基于图像构建的字典存在大量的像素冗余信息,同类原子之间缺乏一致性,异类原子之间也缺乏判别性;同时,字典原子是由二维图像转换为一维列向量表示,这也导致字典原子的维度远远大于原子个数,容易出现“小样本”问题,不能保证在解空间获得最优稀疏解。
(3)上述方法假设了非目标对象的通用数据集中存在与目标对象同类型的遮挡信息。很明显,这一假设在实际应用中是不成立的。虽然,SVDL、RADL 等方法将遮挡信息当作稀疏重构误差处理,可以克服上述问题,但这类算法的计算复杂度较高,在实际应用中也缺乏可操作性。
发明内容
本发明的目的是克服现有技术中稀疏表示的遮挡人脸识别算法存在的问题。本发明首先对人脸图像分块,然后采用KDA算法分别构建目标对象的基本块字典,非目标对象的遮挡块字典和类内差异块字典,最后采用加权块稀疏表示分类器对待测样本进行准确预测,有效提高了单样本人脸识别的准确性。
为了达到上述目的,本发明所采用的技术方案是:
一种基于混合扩展块字典稀疏表示的单样本人脸识别方法:包括以下步骤,
步骤(S1):构建非目标对象的通用数据集X,将非目标对象的通用数据集 X划分为B个非目标对象的通用块样本集在对应块样本空间上学习核判别分析(KernelDiscriminant Analysis,KDA)算法,得到KDA投影矩阵
步骤(S2):构建目标对象标准样本集N,并同理步骤(S1)将其划分为B 个目标对象标准块样本集根据式(1)采用步骤(S1)得到KDA投影矩阵分别对相同局部区域的目标对象标准块样本集进行低维投影,得到对应的目标对象的低维基本块字典
步骤(S3):构建测试样本集Y=[y1,y2,...,ys]∈RMN×s;
其中R为实数集合,MN表示样本的列向量维数,s表示样本个数, Y∈RMN×s表示测试样本集Y中包含s个样本,每个样本用维数为MN的列向量表示,列向量的所有元素从实数集R中取值;
优选的,所述步骤(S1)中,非目标对象的通用数据集X指受表情、光照、遮挡各种干扰因素影响的图像的集合,而非目标对象的通用块样本集其中,c为样本类别数,表示第i类样本的第个块图像集,中每个块图像用d维列向量表示,共ni个块图像,则的总样本数为n1+n2+...+nc=n,依次学习B个非目标对象通用块样本集的高维空间分布,得到B个KDA投影矩阵
优选的,所述步骤(S2)中:目标对象标准块样本集是指从m个对象中各取出一张无干扰正脸图像,然后将每张无干扰正脸图像均划分为B块,构建B个目标对象标准块样本集其中,为第i个对象的第个块图像的列向量表示,d为样本的列向量维数,Rd×1表示是一个维数为d的列向量,列向量的元素从实数集R中取值。
优选的,所述步骤(S4):包括以下步骤:
(S53):并根据以下式(6)计算待测样本与每一类重构样本的残差,依据最小残差划分类别:
本发明的有益效果是:
(1)对原始图像分块,构建块图像集,其主要目的是充分考虑非约束人脸图像数据的复杂性,以及人脸空间拓扑信息在人脸识别中的重要性。相比原始图像,块图像更集中关注人脸结构特征或遮挡信息,更有利于人脸的准确识别。同时,将图像分块也有助于弥补单样本人脸识别中样本数不足的缺陷。
(2)本发明摒弃了在原始图像空间中构建字典的传统策略,而是在低维判别特征空间改进字典的构建方法,旨在消除像素间冗余信息,获得更具判别性和表征性的字典。
(3)由于真实环境采集的人脸图像在样本空间中呈非线性复杂流形分布,传统的线性降维方法,如线性判别分析(Linear Discriminant Analysis,LDA)不能有效处理这种非线性不可分的情况,因此,本发明采用核判别分析(kernel discriminant analysis,KDA)算法计算各个块图像空间的最佳低维投影方向,得到更具判别性的低维子空间。
(4)本发明在KDA低维投影子空间中构建各个目标对象块图像集的基本字典,既去除了原始块图像的像素冗余信息,提高了字典原子的判别性,又降低了字典原子维度,提高了模型的运算效率,保证在解空间中获得最优稀疏解。
(5)本发明对人脸识别中的遮挡干扰因素和非遮挡干扰因素(如光照、表情、姿态等其他干扰因素)分别处理,在KDA低维投影子空间中分别构建各个非目标对象块图像集的遮挡字典,以及描述光照、表情、姿态等变化的类内差异字典,旨在消除像素间冗余信息和人脸结构特征,使遮挡字典和类内差异字典更具表征性。同时也克服了传统方法中需要假设非目标对象与目标对象具有相同遮挡信息的不足。
综上,本发明在KDA低维投影子空间中分别对各个目标对象的块图像集的基本字典,非目标对象的块图像集的遮挡字典和类内差异字典的构建方法进行改进,旨在使基本字典更具判别性,仅包含人脸结构特征,而不含有像素冗余信息和干扰信息,同时,使遮挡字典和类内差异字典更具表征性,仅包含遮挡信息以及光照、表情等类内干扰信息,而无人脸结构特征。鉴于此,本发明用目标对象的基本字典描述人脸结构特征,用非目标对象的遮挡字典和类内差异字典描述人脸识别中可能存在的各种干扰信息,两者相结合,可以解决单样本人脸识别中目标对象面部变化情况不足的缺陷,有效提高单样本人脸识别的准确性。
附图说明
图1是本发明的块图像集构建示意图;
图2是本发明基于混合扩展块字典稀疏表示的单样本人脸识别方法的流程实现框图;
图3是本发明CAS-PEAL库中的部分人脸图像仿真效果图;
图4是本发明的CAS-PEAL库中的某一人脸图像的不同分块方式示意图;
图5是本发明图4中分块3方式下0.5重叠率时分块结果图;
图6是本发明LFW数据库部分样本仿真效果图;
图7是本发明PubFig数据库部分样本仿真效果图。
具体实施方式
下面将结合说明书附图,对本发明作进一步的说明。
本发明在CAS-PEAL、AR、LFW和PubFig四种人脸数据库上进行实验,实验环境为win10 64位操作系统,8GB内存,MatlabR2017a仿真平台。
如图2所示以任一个块图像集为例描述的本发明的实现过程,本发明基于混合扩展块字典稀疏表示的单样本人脸识别方法:包括以下步骤,
步骤(S1):构建非目标对象的通用数据集X,将非目标对象的通用数据集 X划分为B个非目标对象的通用块样本集在对应块样本空间上学习KDA 算法,得到KDA投影矩阵本发明中涉及的KDA算法指核判别分析 (kernel discriminant analysis,KDA)算法;
步骤(S2):构建目标对象标准样本集N,并同理步骤(S1)将其划分为B 个目标对象标准块样本集根据式(1)采用步骤(S1)得到KDA投影矩阵分别对相同局部区域的目标对象标准块样本集进行低维投影,得到对应的目标对象的低维基本块字典
步骤(S3):构建测试样本集Y=[y1,y2,...,ys]∈RMN×s;
其中R为实数集合,MN表示样本的列向量维数,s表示样本个数, Y∈RMN×s表示测试样本集Y中包含s个样本,每个样本用维数为MN的列向量表示,列向量的所有元素从实数集R中取值;
进一步的,步骤(S1)中,非目标对象的通用数据集X指受表情、光照、遮挡各种干扰因素影响的图像的集合,而非目标对象的通用块样本集其中,c为样本类别数,表示第i类样本的第个块图像集,中每个块图像用d维列向量表示,共ni个块图像,则的总样本数为n1+n2+...+nc=n,依次学习B个非目标对象通用块样本集的高维空间分布,得到B个KDA投影矩阵
进一步的,步骤(S2)中:目标对象标准块样本集是指从m个对象中各取出一张无干扰正脸图像,然后将每张无干扰正脸图像均划分为B块,构建B 个目标对象标准块样本集其中,为第i个对象的第个块图像的列向量表示,d为样本的列向量维数,Rd×1表示是一个维数为d的列向量,列向量的元素从实数集R中取值。
进一步的,步骤(S4):包括以下步骤:
(S53):并根据以下式(6)计算待测样本与每一类重构样本的残差,依据最小残差划分类别:
实施例1:在CAS-PEAL数据库进行实验:
首先如图1所示构建块,图1中取B=4:
CAS-PEAL人脸数据库包含1040类人,共99594张人脸图像(其中包括595 位男性和445位女性)。所有图像在专门的采集环境中采集,涵盖了姿态、表情、饰物和光照4种主要变化条件,部分人脸图像具有背景、距离和时间跨度的变化。本发明选择了其中9031张图像进行实验,部分样本图像如图3所示,图像尺寸为120×100像素。
在CAS-PEAL数据库上目标对象的标准数据集,非目标对象的通用数据集、遮挡数据集以及类内变化数据集的设计如下:
(1)非目标对象的通用数据集包含光照变化的180类人和表情变化的80 类人,每类人有4张图像,共1040张变化样本。同时,数据集中还包含每类人 1张正脸无干扰图像,共260张标准样本,它们共同组成了非目标对象的通用数据集。
(2)非目标对象的遮挡数据集包含配饰遮挡的20类人,每类人有4张图像,共80张样本。
(3)非目标对象的类内变化数据集包含光照变化20类人和表情变化20类人,每类人有4张图像,共160张样本。
(4)目标对象的标准样本集由CAS-PEAL数据库中767类人(与上述非目标对象不同类的人),每类人取1张正脸无干扰图像构成,共767张样本。
(5)目标对象的测试样本集是由767类人的包含了配饰遮挡、光照、表情、距离、时间以及背景变化的所有图像组成,共4074张样本。
表1和表2比较了其他技术与本发明在CAS-PEAL数据库上的单样本人脸识别效果。其中,表2详细分析了不同分块方式下的识别效果。分块方式如图4 所示。从表中可以看出,本发明无论是否采用分块方式,单样本人脸识别效果均优于其他技术。当采用分开3方式时,本发明识别效果最佳,达到96.15%的识别准确率,比经典ESRC方法提高了5.57%。
表1 CAS-PEAL数据库中的识别率(%)
表2 PEAL-CAS数据库中不同分块方式下的识别结果(%)
表3分析了不同的分块重叠率对单样本人脸识别的影响。这里基于表2中最佳分块方式(分块3),给出了重叠率为0、0.5和0.7三种情况下的识别结果。从表3中可以看出,当重叠率为0.5时,单样本人脸识别率最高,达到98.13%,比不分块时又高出了1.98%。究其原因,从图5中可以看出,当重叠率为0.5时,图像分块个数由4块扩增到9块,且块与块之间有部分人脸结构重叠。当对每一块图像进行稀疏编码时,可以起到特征信息相互补充的作用,有效提高了单样本人脸识别的准确性。
表3 PEAL-CAS数据库中分块3方式下不同分块重叠率的识别结果(%)
实施例2:在AR数据库进行实验:
同实施例1首先如图1所示构建块,图1中取B=4:
AR人脸数据库中包含126类人(56位女性,70位男性),共4000多张正面对齐人脸。每类人分两个阶段拍摄,每个阶段13张图像,其中光照变化图像4 张,表情变化3张,眼镜遮挡图像3张,围脖遮挡3张。本发明选取了100类人进行实验,并对图像进行裁剪及归一化处理,裁剪后的尺寸大小为120×100 像素。
在AR数据库上目标对象的标准数据集,非目标对象的通用数据集、遮挡数据集以及类内变化数据集的设计如下:
(1)目标对象的标准样本集由AR数据库中任意30类人,每类人的第一张正脸无干扰图像组成,共30张样本。
(2)目标对象的测试样本集由30类人的剩余所有图像组成,包含了表情、光照、遮挡、时间等干扰因素的影响,共750张样本。
(3)非目标对象的通用数据集由AR数据库中剩余70类人(与上述目标对象不同类的人),每类人在第一阶段中的1张正脸无干扰图像、3张表情变化图像、3张光照变化图像组成,共490张样本。
(4)非目标对象的遮挡数据集由70类人在第二阶段中6张遮挡图像组成,共420张样本。
(5)非目标对象的类内变化数据集由70类人在第二阶段中3张光照变化图像、3张表情变化图像组成,共420张样本。
表4比较了本发明与其他技术在AR数据库上的单样本人脸识别效果。从表中可以看出,采用CAS-PEAL数据库上的最佳分块方式(分块3方式,重叠率为0.5),本发明的识别率达到96.93%,远远高于其他方法。这说明了,分别构建遮挡字典和类内差异字典有助于对具有各种面部变化情况的目标对象的待测样本进行准确建模,弥补了单样本人脸识别中仅有一张标准人脸图像的不足。同时,我们也发现,本发明采用不分块方式时,识别率仅88.93%,比分块时降低了8%,如表5所示。这也进一步说明了,在单样本人脸识别中对图像进行分块处理可以扩充样本数量,弥补了目标对象变化样本不足的局限性,有助于提高单样本人脸识别的准确率。
表4 AR数据库中单样本人脸识别效果(%)
表5本发明不分块方式与分块方式的识别效果比较(%)
实施例3:在LFW数据库进行实验:
同实施例1首先如图1所示构建块,图1中取B=4;LFW(Labeled Faces in theWild database)数据库是从Internet上采集的真实人脸数据库,共有13233张 5749类人脸图像,包含了光照、表情、姿态、遮挡、年龄、种族等多种混合干扰,对于准确人脸识别更具有挑战性。本发明从中选取包含10张以上图像的人进行辨识,得到158类人。为了便于实验,这里选取每类人10张图像,供1580 张样本进行实验。部分样本如图6所示,图像尺寸为120×100像素。
由于LFW数据库中的样本是从真实环境中采集的,具有各种混合干扰,所以在LFW数据库上无法构建典型的遮挡数据集和类内变化数据集。在本实验中仅构建目标对象的标准数据集,非目标对象的通用数据集和混合干扰数据集,具体如下:
(1)目标对象的标准样本集由LFW数据库中任意58类人,每类人的一张正脸无干扰图像组成,共58张样本。
(2)目标对象的测试样本集由58类人的剩余所有图像组成,受光照、表情、姿态、遮挡、年龄、种族等各种混合干扰因素的影响,共522张样本。
(3)非目标对象的通用数据集由LFW数据库中剩余100类人(与上述目标对象不同类的人),每类人5张图像组成,共500张样本。
(4)非目标对象的混合干扰数据集由100类人的剩余5图像组成,共500 张样本。
表6给出了本发明与其他技术在LFW数据库上的识别结果。从表中可以看出,本发明的识别结果远远高于其他方法,识别率比排名第二的KED方法提高了27.81%。由此可见,本发明提出的混合扩展块字典更有助于解决真实环境下的单样本人脸识别问题。
表6 LFW数据库中的识别率(%)
实施例4:在PubFig数据库进行实验:
同实施例1首先如图1所示构建块,图1中取B=4:
PubFig(Public Figures Face Database)数据库与LFW数据库类似,包括从互联网上采集到的200类知名人物的58797张图像。数据库中的人脸都是真实环境下拍摄的,包含部分遮挡(眼镜、帽子等饰物)、极端光照、较大的姿势变换(>45°)、不同种族、年龄等干扰因素。本发明从PubFig数据库中随机选取100 类人,每类人20张图像进行实验仿真。部分样本如图7所示,图像尺寸为 120×100像素。
同于LFW数据库,PubFig数据库中的样本也是从真实环境中采集的,具有各种混合干扰,所以在PubFig数据库上也无法构建典型的遮挡数据集和类内变化数据集。在本实验中仅构建目标对象的标准数据集,非目标对象的通用数据集和混合干扰数据集,具体如下:
(1)目标对象的标准样本集由PubFig数据库中任意30类人,每类人的一张正脸无干扰图像组成,共30张样本。
(2)目标对象的测试样本集由30类人的剩余所有图像组成,受光照、表情、姿态、遮挡、年龄、种族等各种混合干扰因素的影响,共570张样本。
(3)非目标对象的通用数据集由PubFig数据库中剩余70类人(与上述目标对象不同类的人),每类人10张图像组成,共700张样本。
(4)非目标对象的混合干扰数据集由70类人的剩余10图像组成,共700 张样本。
表7给出了本发明与其他技术在PubFig数据库上的识别结果。从表中可以看出,本发明的识别结果远远高于其他方法,识别率比排名第二的ESRC方法提高了3.75%。由此可见,本发明提出的混合扩展块字典更有助于解决真实环境下的单样本人脸识别问题。
表7 PubFig数据库中单样本情况的识别率(%)
总结:
本发明分别在CAS-PEAL、AR、LFW和PubFig四个人脸数据库上进行实验仿真,其中,CAS-PEAL和AR数据库是在实验室环境中采集的,LFW和PubFig 是在真实环境中采集的。实验数据库和真实数据库上的实验结果均验证了,本发明与现有技术相比,其创新点在解决单样本人脸识别问题上是有效的、可行的,具体归纳如下:
1、本发明摒弃了在原始图像空间中构建字典的传统策略,而是基于KDA 低维判别特征空间改进字典构建方法。一方面对原始数据进行KDA降维,可以有效消除像素间的冗余信息,使低维特征数据更具判别性;另一方面采用本发明改进的字典构建方法,也使本发明的样本字典更具判别性,遮挡字典和类内差异字典更具表征性,两者相结合,可以解决单样本人脸识别中目标对象面部变化情况不足的缺陷,有效提高单样本人脸识别的准确性。
2、本发明的遮挡字典更具有表征性,因此克服了传统方法中需要非目标对象与目标对象具有相同遮挡信息的不足。
3、本发明在LFW和PubFig两个具有挑战性的真实人脸数据库上进行实验,从实验结果可以看出,本发明提出的混合扩展块字典更有助于解决真实环境下的单样本人脸识别问题,具有实用价值。
4、本发明不受目标对象变化样本的数量、特征提取等方面的限制,实现步骤简单,因此本发明相比现有技术更加易用可行。同时,本发明是对降维后数据再处理,系统计算效率高,利于实用推广。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.基于混合扩展块字典稀疏表示的单样本人脸识别方法,其特征在于:包括以下步骤,
步骤(S2):构建目标对象标准样本集N,并同理步骤(S1)将其划分为B个目标对象标准块样本集根据式(1)采用步骤(S1)得到KDA投影矩阵分别对相同局部区域的目标对象标准块样本集进行低维投影,得到对应的目标对象的低维基本块字典
步骤(S3):构建测试样本集Y=[y1,y2,...,ys]∈RMN×s;
其中R为实数集合,MN表示样本的列向量维数,s表示样本个数,Y∈RMN×s表示测试样本集Y中包含s个样本,每个样本用维数为MN的列向量表示,列向量的所有元素从实数集R中取值;
4.根据权利要求1所述的基于混合扩展块字典稀疏表示的单样本人脸识别方法,其特征在于:步骤(S4):包括以下步骤:
5.根据权利要求1所述的基于混合扩展块字典稀疏表示的单样本人脸识别方法,其特征在于:步骤(S5)中:根据混合完备扩展块字典采用SRC模型中的加权块稀疏表示分类器对目标对象待测样本y的B个块图像进行线性稀疏表示,根据最小残差划分类别,包括以下步骤:
(S53):并根据以下式(6)计算待测样本与每一类重构样本的残差,依据最小残差划分类别:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110321267.0A CN113158812B (zh) | 2021-03-25 | 2021-03-25 | 基于混合扩展块字典稀疏表示的单样本人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110321267.0A CN113158812B (zh) | 2021-03-25 | 2021-03-25 | 基于混合扩展块字典稀疏表示的单样本人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113158812A true CN113158812A (zh) | 2021-07-23 |
CN113158812B CN113158812B (zh) | 2022-02-08 |
Family
ID=76884766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110321267.0A Active CN113158812B (zh) | 2021-03-25 | 2021-03-25 | 基于混合扩展块字典稀疏表示的单样本人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113158812B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609681A (zh) * | 2012-01-12 | 2012-07-25 | 北京大学 | 基于字典学习模型的人脸识别方法 |
CN104268593A (zh) * | 2014-09-22 | 2015-01-07 | 华东交通大学 | 一种小样本情况下多稀疏表示的人脸识别方法 |
CN104392246A (zh) * | 2014-12-03 | 2015-03-04 | 北京理工大学 | 一种基于类间类内面部变化字典的单样本人脸识别方法 |
CN104715266A (zh) * | 2015-03-12 | 2015-06-17 | 西安电子科技大学 | 基于src-dp与lda相结合的图像特征提取方法 |
CN107103290A (zh) * | 2017-04-12 | 2017-08-29 | 邹霞 | 基于神经网络的核判别分析逼近方法 |
CN107368803A (zh) * | 2017-07-14 | 2017-11-21 | 广州智慧城市发展研究院 | 一种基于类别稀疏表示的人脸识别方法及系统 |
CN107918761A (zh) * | 2017-10-19 | 2018-04-17 | 九江学院 | 一种基于多流形核鉴别分析的单样本人脸识别方法 |
WO2018187950A1 (zh) * | 2017-04-12 | 2018-10-18 | 邹霞 | 基于核判别分析的人脸识别方法 |
CN109766813A (zh) * | 2018-12-31 | 2019-05-17 | 陕西师范大学 | 基于对称人脸扩充样本的字典学习人脸识别方法 |
CN111783615A (zh) * | 2020-06-28 | 2020-10-16 | 南京工程学院 | 基于加权块张量稀疏图映射的非约束人脸识别方法 |
-
2021
- 2021-03-25 CN CN202110321267.0A patent/CN113158812B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609681A (zh) * | 2012-01-12 | 2012-07-25 | 北京大学 | 基于字典学习模型的人脸识别方法 |
CN104268593A (zh) * | 2014-09-22 | 2015-01-07 | 华东交通大学 | 一种小样本情况下多稀疏表示的人脸识别方法 |
CN104392246A (zh) * | 2014-12-03 | 2015-03-04 | 北京理工大学 | 一种基于类间类内面部变化字典的单样本人脸识别方法 |
CN104715266A (zh) * | 2015-03-12 | 2015-06-17 | 西安电子科技大学 | 基于src-dp与lda相结合的图像特征提取方法 |
CN107103290A (zh) * | 2017-04-12 | 2017-08-29 | 邹霞 | 基于神经网络的核判别分析逼近方法 |
WO2018187950A1 (zh) * | 2017-04-12 | 2018-10-18 | 邹霞 | 基于核判别分析的人脸识别方法 |
CN107368803A (zh) * | 2017-07-14 | 2017-11-21 | 广州智慧城市发展研究院 | 一种基于类别稀疏表示的人脸识别方法及系统 |
CN107918761A (zh) * | 2017-10-19 | 2018-04-17 | 九江学院 | 一种基于多流形核鉴别分析的单样本人脸识别方法 |
CN109766813A (zh) * | 2018-12-31 | 2019-05-17 | 陕西师范大学 | 基于对称人脸扩充样本的字典学习人脸识别方法 |
CN111783615A (zh) * | 2020-06-28 | 2020-10-16 | 南京工程学院 | 基于加权块张量稀疏图映射的非约束人脸识别方法 |
Non-Patent Citations (8)
Title |
---|
DING B等: "Learning kernel-based robust disturbance dictionary for face recognition", 《APPLIED SCIENCES》 * |
FENG G等: "Face recognition based on Volterra kernels direct discriminant analysis and effective feature classification", 《INFORMATION SCIENCES》 * |
HUANG K K等: "Learning kernel extended dictionary for face recognition", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 * |
LIN Y Y等: "ultiple kernel learning for dimensionality reduction", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
丁碧薇: "基于主成分分析改进算法的人脸识别研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
冯光: "基于字典学习的人脸识别方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
王志强等: "加权鉴别保持投影降维的非约束人脸识别研究", 《信号处理》 * |
虞涛等: "基于迭代加权低秩分解的遮挡人脸识别算法", 《计算机技术与发展》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113158812B (zh) | 2022-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Plaza et al. | Dimensionality reduction and classification of hyperspectral image data using sequences of extended morphological transformations | |
CN111738143B (zh) | 一种基于期望最大化的行人重识别方法 | |
CN107145836B (zh) | 基于栈式边界辨别自编码器的高光谱图像分类方法 | |
CN109858429B (zh) | 一种基于卷积神经网络的眼底图像病变程度识别与可视化系统 | |
CN108446589B (zh) | 复杂环境下基于低秩分解和辅助字典的人脸识别方法 | |
CN105138993A (zh) | 建立人脸识别模型的方法及装置 | |
CN107133496B (zh) | 基于流形学习与闭环深度卷积双网络模型的基因特征提取方法 | |
CN107341505B (zh) | 一种基于图像显著性与Object Bank的场景分类方法 | |
Plichoski et al. | A face recognition framework based on a pool of techniques and differential evolution | |
CN112395442A (zh) | 移动互联网上的低俗图片自动识别与内容过滤方法 | |
Yang et al. | A fuzzy-statistics-based principal component analysis (FS-PCA) method for multispectral image enhancement and display | |
CN114359735A (zh) | 一种高光谱遥感影像变化检测方法 | |
Zhang et al. | Hyperspectral-cube-based mobile face recognition: A comprehensive review | |
CN109993199A (zh) | 一种针对高阶张量数据的处理方法 | |
CN111695455B (zh) | 一种基于耦合判别流形对齐的低分辨人脸识别方法 | |
CN112766223A (zh) | 基于样本挖掘与背景重构的高光谱图像目标检测方法 | |
CN112966649B (zh) | 基于核扩展字典稀疏表示的遮挡人脸识别方法 | |
Çevik et al. | A novel high-performance holistic descriptor for face retrieval | |
Farooque et al. | Swin transformer with multiscale 3D atrous convolution for hyperspectral image classification | |
CN115690669A (zh) | 一种基于特征分离与因果比较损失的跨模态重识别方法 | |
CN113052130A (zh) | 基于深度残差网络和边缘保护滤波的高光谱影像分类方法 | |
CN113158812B (zh) | 基于混合扩展块字典稀疏表示的单样本人脸识别方法 | |
Tu et al. | Texture pattern separation for hyperspectral image classification | |
CN115731462A (zh) | 基于多头自-交叉混合注意力的高光谱图像变化检测方法 | |
LU500715B1 (en) | Hyperspectral Image Classification Method Based on Discriminant Gabor Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |