CN115019368B - 一种审计调查中人脸识别特征提取方法 - Google Patents
一种审计调查中人脸识别特征提取方法 Download PDFInfo
- Publication number
- CN115019368B CN115019368B CN202210646646.1A CN202210646646A CN115019368B CN 115019368 B CN115019368 B CN 115019368B CN 202210646646 A CN202210646646 A CN 202210646646A CN 115019368 B CN115019368 B CN 115019368B
- Authority
- CN
- China
- Prior art keywords
- matrix
- formula
- objective function
- 2ddlpp
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012550 audit Methods 0.000 title claims abstract description 27
- 238000011835 investigation Methods 0.000 title claims abstract description 26
- 238000000605 extraction Methods 0.000 title claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 139
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000002474 experimental method Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 20
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- -1 l=d-B Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 41
- 230000008859 change Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种审计调查中人脸识别特征提取方法。本发明通过在2DDLPP目标函数中加入矩阵指数，由于对称矩阵的矩阵指数是正定的，所以它是求解SSS问题的一种有效方法，而且其利用距离扩散映射将原始图像转换为一个新的空间，进一步拓宽标签之间的边距，可以保留更多的信息，利于分类和实现更高的精度，以解决2DDLPP的小样本问题以及矩阵奇异问题，并引入弹性网回归得到最优的稀疏投影矩阵，以解决2DDLPP处理人脸图像时，其保留特征中存在大量冗余信息的问题，能够有效提取人脸图像中的稀疏特征用于人脸识别，以确保审计调查中人脸识别的准确性。
Description
技术领域
本发明涉及人脸识别特征提取技术领域，具体涉及一种审计调查中人脸识别特征提取方法。
背景技术
审计调查是审计机关根据经济活动中出现的带有倾向性、普通性的重大问题，通过调查分析，为领导机关加强或改进宏观控制与宏观决策提供有效信息和建议的一种审计方法，开展审计调查不仅能为宏观决策提供信息和建议，贯彻和完善财经法规，而且有利于审计工作经常化、制度化，提高审计人员政策水平和业务素质，人脸识别是审计调查的关键步骤，而在人脸识别问题中，如何提取有效的特征成为了研究者们所关注的重点，近年来的研究表明，人脸空间更可能存在于低维非线性流形子空间中，因此，研究者提出了许多基于流形学习的方法；
基于流形学习的方法目的是在一个邻域内保持数据的局部几何结构，并成功的找到存在于非线性流形中的固有特征，例如局部保持投影(Locality PreservingProjection，LPP)是流形学习中的一种具有广泛应用的方法，然而，LPP是一个基于向量的方法，它总是面临着奇异问题，因此研究者提出了二维局部保持投影(Two-dimensionalLocality Preserving Projections，2DLPP)，该方法直接使用图像矩阵而不是图像向量进行投影，尽管2DLPP相对于LPP在处理人脸数据方面具有更好的效果，但是它的局限性在于2DLPP是一种无监督的方法，没有考虑样本的类别信息；
而二维判别局部保持投影(Two-dimensional Discriminant LocalityPreserving Projections，2DDLPP)，在2DLPP目标函数中加入类间散布矩阵和判别信息，克服了2DLPP无法利用标签信息的缺点，但是仍然存在小样本问题，当样本的维数大于样本的数量时，会导致矩阵的奇异性，而且2DDLPP处理的对象是整个人脸图像，其保留的特征中可能存在大量冗余信息，为了解决上述问题，本文结合2DDLPP、矩阵指数和弹性网回归，提出一种基于二维指数稀疏判别局部保持投影(2DESDLPP)的人脸识别特征提取方法。
发明内容
本发明的目的是解决2DDLPP存在小样本问题，当样本的维数大于样本的数量时，会导致矩阵的奇异性，而且2DDLPP处理的对象是整个人脸图像，其保留的特征中可能存在大量冗余信息的问题。
为了达到上述目的，本发明所采用的技术方案是：
一种审计调查中人脸识别特征提取方法，包括以下步骤，
步骤(A)，基于2DDLPP的原目标函数，并根据投影矩阵公式化简上述原目标函数的分子与分母，得到2DDLPP的简分子式与简分母式；
步骤(B)，将2DDLPP的简分子式与简分母式代入其原目标函数并最小化，得到2DDLPP的终目标函数；
步骤(C)，在2DDLPP的终目标函数中加入矩阵指数以及稀疏约束条件，得到2DESDLPP的目标函数；
步骤(D)，根据2DESDLPP的目标函数并引入弹性网回归提取二维人脸图像中的稀疏特征，即得到基于图像矩阵的稀疏投影矩阵；
步骤(E)，利用不同的人脸数据库，进行基于2DESDLPP并引入弹性网回归的二维人脸图像中特征提取实验，验证其有效性。
前述的一种审计调查中人脸识别特征提取方法，步骤(A)中所述投影矩阵公式如公式(1)所示：
Y＝XA (1)
其中，设存在训练样本集X＝[x1,x2,…,xN]，x1,x2,…,xN表示为xi，N为人脸图像数量，每个图像的像素大小为m×n，为找到一个线性变换，使得原始空间m×n嵌入到m×d空间中，且d<<n，设A＝[a1,a2,...,ad]是n×d的矩阵，a1,a2,...,ad表示为ai，ai是单位列向量，通过公式(1)，将每一幅像素大小为m×n的xi映射到投影矩阵A，得到m×d维的投影矩阵yi，即得到m×d维的投影矩阵Y。
前述的一种审计调查中人脸识别特征提取方法，步骤(A)中基于2DDLPP的原目标函数，该2DDLPP的原目标函数如下：
设存在样本xi、xj，且xi、xj的类标签均为ci∈{1,2,…,C}，第i和第j个样本分别表示为xi以及xj，Yi c,表示与原始图像相对应的第c类投影图像矩阵，nc为第c类的样本数量，则得到2DDLPP的原目标函数，如公式(2)所示：
其中，J(Y)表示求解矩阵Y，J表示求解，为第i和第j个样本在第c类标签中的投影矩阵的均值矩阵：
为第c类中任意两个样本之间的权重矩阵其定义如下：
Wij为任意两类样本的均值之间的权重，Fi为第i类样本的均值，则Wij＝exp(||Fi-Fj||2/t)，t为一个可调正参数。
前述的一种审计调查中人脸识别特征提取方法，步骤(A)中根据投影矩阵公式化简上述原目标函数的分子与分母，得到2DDLPP的简分子式与简分母式，则根据公式(1)，化简公式(2)的分子得到2DDLPP的简分子式，如公式(3-1)所示：
其中，D是一个由B的行和或列和组成的对角矩阵，In是n×n大小的单位矩阵，符号/>表示矩阵的Kronecker积，L是一个拉普拉斯矩阵，L＝D-B，矩阵D提供了对原始图像对应的数据点的自然度量，第i个点的Dii值越大，对应的xi越重要；
根据公式(1)，化简公式(2)的分母得到2DDLPP的简分母式，如公式(3-2)所示：
E是一个由W的行和或列和组成的对角矩阵，H＝E-W，且公式(3-1)与公式(3-2)中的上标T表示矩阵转置。
前述的一种审计调查中人脸识别特征提取方法，步骤(B)中将2DDLPP的简分子式与简分母式代入其原目标函数并最小化，得到2DDLPP的终目标函数，则将公式(3-1)与公式(3-2)代入公式(2)中，得到公式(4)：
最小化公式(4)，得到2DDLPP的终目标函数，如公式(5)所示：
前述的一种审计调查中人脸识别特征提取方法，步骤(C)中所述矩阵指数的定义，如公式(6)所示：
其中，M是一个m×n的矩阵，M∈Rm×n，I是一个n×n的单位矩阵，指数矩阵的性质如下：
exp(M)是一个有限数矩阵序列的和，且exp(M)为满秩矩阵；
若矩阵A和矩阵B可交换，即AB＝BA，则exp(A+B)＝exp(A)exp(B)；
若B是非奇异矩阵，则exp(B-1AB)＝B-1exp(A)B；
若v1,v2,...,vn是M对应于特征值λ1,λ2,...,λn的特征向量，且v1,v2,...,vn也是exp(M)对应于特征值的特征向量，则该矩阵是非奇异的。
前述的一种审计调查中人脸识别特征提取方法，步骤(C)中在2DDLPP的终目标函数中加入矩阵指数以及稀疏约束条件，得到2DESDLPP的目标函数，即在公式(5)中加入矩阵指数以及稀疏约束条件，得到2DESDLPP的目标函数，如公式(7-1)所示：
其中，Card(A)＝K是弹性回报下的稀疏约束条件，K为A中非零元素的个数，且K≤n；
公式(7-1)没有一个封闭形式的解，所以对其采用更简单的方式表示为：
再通过求解特征值问题来获得公式(7-2)的解，如公式(7-3)所示：
将公式(7-3)中的投影矩阵A正交化得到公式(8)：
其中，λi是特征值，ai是对应于该特征值的特征向量，因此，投影矩阵A＝[a1,a2,...,ad]即为公式(8)的前d个最小特征值所对应的特征向量；
根据矩阵指数的性质可知，和/>均为满秩矩阵，在SSS问题发生的情况下，/>和/>是非奇异的，即使和/>仍然是奇异的，因此，2DESDLP能够提取FTHF零空间中包含的鉴别信息。
前述的一种审计调查中人脸识别特征提取方法，步骤(D)中所述弹性网回归为：
设有数据(Xi,yi),i＝1,2,...,N，Xi＝(xi1,...xip)T，Xi和yi分别是第i个观测值对应的自变量和相应变量，N为样本数量，p为自变量个数，其表达式定义为：
若令ε＝λ1+λ2，则表达式为：
其中，表示弹性网回归的定义，xij表示第i个观测值xi中的第j个元素，λ1,λ2≥0是惩罚项参数，βj是变量系数，β0是常数项，由此可知，弹性网络的惩罚项为岭回归惩罚项和套索回归惩罚项的一个凸线性组合，当θ＝0时，即为岭回归，当θ＝1时，即为套索回归。
前述的一种审计调查中人脸识别特征提取方法，步骤(D)中根据2DESDLPP的目标函数并引入弹性网回归提取二维人脸图像中的稀疏特征，即得到基于图像矩阵的稀疏投影矩阵；
公式(8)中得到的投影矩阵A不是稀疏的，因此，引入弹性网回归的二维拓展形式，将二维人脸图像的每一行或每一列作为一个单独的向量，以这些向量作为独立的模型单元进行相应的基于向量的回归，如公式(10)所示：
由此，得到一个基于图像矩阵的稀疏投影矩阵ASparse。
前述的一种审计调查中人脸识别特征提取方法，步骤(E)中利用不同的人脸数据库，进行基于2DESDLPP并引入弹性网回归的二维人脸图像中特征提取实验，验证其有效性，该人脸数据库分别为ORL、Yale以及AR人脸数据库。
本发明的有益效果是：本发明通过在2DDLPP目标函数中加入矩阵指数，由于对称矩阵的矩阵指数是正定的，所以它是求解SSS问题的一种有效方法，而且其利用距离扩散映射将原始图像转换为一个新的空间，进一步拓宽标签之间的边距，可以保留更多的信息，利于分类和实现更高的精度，以解决2DDLPP的小样本问题以及矩阵奇异问题，并引入弹性网回归得到最优的稀疏投影矩阵，以解决2DDLPP处理人脸图像时，其保留特征中存在大量冗余信息的问题，能够有效提取人脸图像中的稀疏特征用于人脸识别，以确保审计调查中人脸识别的准确性。
附图说明
图1是本发明人脸识别特征提取方法的流程图；
图2是ORL库中训练样本为6时，不同K值对应的2DESDLPP算法的平均识别率随特征维数的变化情况图；
图3是Yale库中训练样本为6时，不同K值对应的2DESDLPP算法的平均识别率随特征维数的变化情况图；
图4是AR库中训练样本为6时，不同K值对应的2DESDLPP算法的平均识别率随特征维数的变化情况图；
图5是ORL人脸库中某一个体的二维人脸图；
图6是ORL人脸库中训练样本数为6时，不同算法的平均识别率随特征维数的变化情况图；
图7是Yale人脸库的某一个体的二维人脸图；
图8是Yale人脸库中训练样本数为6时，不同算法的平均识别率随特征维数的变化情况图；
图9是AR人脸库的某一个体的二维人脸图；
图10是AR人脸库中训练样本数为6时，不同算法的平均识别率随特征维数的变化情况图。
具体实施方式
下面将结合说明书附图，对本发明作进一步的说明。
如图1所示，本发明的一种审计调查中人脸识别特征提取方法，包括以下步骤，
步骤(A)，基于2DDLPP的原目标函数，2DDLPP表示为二维判别局部保持投影，并根据投影矩阵公式化简上述原目标函数的分子与分母，得到2DDLPP的简分子式与简分母式；
步骤(A)中投影矩阵公式如公式(1)所示：
Y＝XA (1)
其中，设存在训练样本集X＝[x1,x2,…,xN]，x1,x2,…,xN表示为xi，N为人脸图像数量，每个图像的像素大小为m×n，为找到一个线性变换，使得原始空间m×n嵌入到m×d空间中，且d<<n，设A＝[a1,a2,...,ad]是n×d的矩阵，a1,a2,...,ad表示为ai，ai是单位列向量，通过公式(1)，将每一幅像素大小为m×n的xi映射到投影矩阵A，得到m×d维的投影矩阵yi，即得到m×d维的投影矩阵Y；
步骤(A)中基于2DDLPP的原目标函数，该2DDLPP的原目标函数如下：
设存在样本xi、xj，且xi、xj的类标签均为ci∈{1,2,…,C}，第i和第j个样本分别表示为xi以及xj，Yi c,表示与原始图像相对应的第c类投影图像矩阵，nc为第c类的样本数量，则得到2DDLPP的原目标函数，如公式(2)所示：
其中，J(Y)表示求解矩阵Y，J表示求解，为第i和第j个样本在第c类标签中的投影矩阵的均值矩阵：
为第c类中任意两个样本之间的权重矩阵其定义如下：
Wij为任意两类样本的均值之间的权重，Fi为第i类样本的均值，则Wij＝exp(||Fi-Fj||2/t)，t为一个可调正参数；
步骤(A)中根据投影矩阵公式化简上述原目标函数的分子与分母，得到2DDLPP的简分子式与简分母式，则根据公式(1)，化简公式(2)的分子得到2DDLPP的简分子式，如公式(3-1)所示：
其中，D是一个由B的行和或列和组成的对角矩阵，In是n×n大小的单位矩阵，符号/>表示矩阵的Kronecker积，L是一个拉普拉斯矩阵，L＝D-B，矩阵D提供了对原始图像对应的数据点的自然度量，第i个点的Dii值越大，对应的xi越重要；
根据公式(1)，化简公式(2)的分母得到2DDLPP的简分母式，如公式(3-2)所示：
E是一个由W的行和或列和组成的对角矩阵，H＝E-W，且公式(3-1)与公式(3-2)中的上标T表示矩阵转置；
步骤(B)，将2DDLPP的简分子式与简分母式代入其原目标函数并最小化，得到2DDLPP的终目标函数；
步骤(B)中将2DDLPP的简分子式与简分母式代入其原目标函数并最小化，得到2DDLPP的终目标函数，则将公式(3-1)与公式(3-2)代入公式(2)中，得到公式(4)：
最小化公式(4)，得到2DDLPP的终目标函数，如公式(5)所示：
步骤(C)，在2DDLPP的终目标函数中加入矩阵指数以及稀疏约束条件，得到2DESDLPP的目标函数，2DESDLPP表示为二维指数稀疏判别局部保持投影；
步骤(C)中矩阵指数的定义，如公式(6)所示：
其中，M是一个m×n的矩阵，M∈Rm×n，I是一个n×n的单位矩阵，指数矩阵的性质如下：
exp(M)是一个有限数矩阵序列的和，且exp(M)为满秩矩阵；
若矩阵A和矩阵B可交换，即AB＝BA，则exp(A+B)＝exp(A)exp(B)；
若B是非奇异矩阵，则exp(B-1AB)＝B-1exp(A)B；
若v1,v2,...,vn是M对应于特征值λ1,λ2,...,λn的特征向量，且v1,v2,...,vn也是exp(M)对应于特征值的特征向量，则该矩阵是非奇异的；
步骤(C)中在2DDLPP的终目标函数中加入矩阵指数以及稀疏约束条件，得到2DESDLPP的目标函数，即在公式(5)中加入矩阵指数以及稀疏约束条件，得到2DESDLPP的目标函数，如公式(7-1)所示：
其中，Card(A)＝K是弹性回报下的稀疏约束条件，K为A中非零元素的个数，且K≤n；
公式(7-1)没有一个封闭形式的解，所以对其采用更简单的方式表示为：
再通过求解特征值问题来获得公式(7-2)的解，如公式(7-3)所示：
将公式(7-3)中的投影矩阵A正交化得到公式(8)：
其中，λi是特征值，ai是对应于该特征值的特征向量，因此，投影矩阵A＝[a1,a2,...,ad]即为公式(8)的前d个最小特征值所对应的特征向量；
根据矩阵指数的性质可知，和/>均为满秩矩阵，在SSS问题发生的情况下，/>和/>是非奇异的，即使和/>仍然是奇异的，因此，2DESDLP能够提取FTHF零空间中包含的鉴别信息；
步骤(D)，根据2DESDLPP的目标函数并引入弹性网回归提取二维人脸图像中的稀疏特征，即得到基于图像矩阵的稀疏投影矩阵；
步骤(D)中弹性网回归为：
设有数据(Xi,yi),i＝1,2,...,N，Xi＝(xi1,...xip)T，Xi和yi分别是第i个观测值对应的自变量和相应变量，N为样本数量，p为自变量个数，其表达式定义为：
若令ε＝λ1+λ2，则表达式为：
其中，表示弹性网回归的定义，xij表示第i个观测值xi中的第j个元素，λ1,λ2≥0是惩罚项参数，βj是变量系数，β0是常数项，一般常数项在惩罚函数中可以忽略，因为常数项不会对回归系数产生影响，由此可知，弹性网络的惩罚项/>为岭回归惩罚项和套索回归惩罚项的一个凸线性组合，当θ＝0时，即为岭回归，当θ＝1时，即为套索回归；
步骤(D)中根据2DESDLPP的目标函数并引入弹性网回归提取二维人脸图像中的稀疏特征，即得到基于图像矩阵的稀疏投影矩阵；
公式(8)中得到的投影矩阵A不是稀疏的，因此，引入弹性网回归的二维拓展形式，将二维人脸图像的每一行或每一列作为一个单独的向量，以这些向量作为独立的模型单元进行相应的基于向量的回归，如公式(10)所示：
由此，得到一个基于图像矩阵的稀疏投影矩阵ASparse；
步骤(E)，利用不同的人脸数据库，进行基于2DESDLPP并引入弹性网回归的二维人脸图像中特征提取实验，验证其有效性；
步骤(E)中利用不同的人脸数据库，进行基于2DESDLPP并引入弹性网回归的二维人脸图像中特征提取实验，验证其有效性，该人脸数据库分别为ORL、Yale以及AR人脸数据库。
下面介绍本发明的一种审计调查中人脸识别特征提取方法应用于人脸数据库的实验如下：
为了验证本发明的有效性，在ORL、Yale以及AR人脸库上进行特征提取实验，并对比其他几种方法2DPCA、2DLDA、2DLPP和2DDLPP的性能，所有的实验均采用欧氏距离和最近邻分类器，在实验中，我们将各人脸库中的图像大小调整为50*40，并分别从每人的图像中随机抽取2、3、4、5、6张图像作为训练样本，其余的作为测试样本，每一个不同训练样本大小的实验独立运行10次，对于实验结果，我们把在相同训练样本不同特征维数下10次实验的识别率的平均值定义为平均识别率，其中的最大值定义为最大平均识别率；
1、K的选取和人脸投影空间
K为投影矩阵中的非零元素个数，我们分别在ORL、Yale以及AR人脸库中选择训练样本为6进行10次实验，设置K为10-40且间隔为10，图2-4分别显示了在ORL、Yale和AR库不同K值对应的2DESDLPP算法的平均识别率(％)随特征维数的变化情况；
由图2-4可知，当K＝10时，平均识别率在3个人脸库中均可以达到最大，因此在后续的实验中选取K＝10。
2、ORL人脸库上的实验
ORL人脸数据库共包含来自40个人的400幅人脸灰度图像，每人10幅，所有图像均在变化的外部条件下进行采集，包含了光照强弱、面部角度、姿态变化以及表情变化，ORL数据库中的所有人脸图像统一为纯黑背景色、大小92*112像素的灰度图，如图5所示；
在实验中，我们在每个人的10幅图像中随机选择l(l＝2,3,4,5,6)幅图像组成训练样本集，其余的图像组成测试集，当训练样本数为6时，2DESDLPP以及4种对比方法的识别结果，如图6所示，表1给出了ORL人脸库上当训练样本数分别为2、3、4、5和6幅时，2DESDLPP以及4种对比方法的最大平均识别率(％)及其相应的投影轴个数，括号内为投影轴个数。
表1，2DESDLPP以及4种对比算法的最大平均识别率(％)及其相应的投影轴数量，ORL库
3、Yale人脸库上的实验
Yale人脸库共有15个不同拍摄对象，所有人均有11张不同外部条件下拍摄的图像，一共有165幅灰度图像，每个人的这些照片在不同的表情和光照等条件下拍摄，所以除了人脸识别率之外，大多被用来验证算法的光照鲁棒性，如图7所示；
在实验中，我们分别在每个人的11幅图像中随机选择l(l＝2,3,4,5,6)幅图像，组成训练样本集，其余的图像组成测试集，当训练样本数为6时，2DESDLPP以及4种对比方法的识别结果如图8所示，为便于比较，表2给出了在Yale人脸库上当训练样本数分别为2、3、4、5和6幅时，S2DDELPP以及4种对比方法的最大平均识别率(％)及其相应的投影轴数量，括号内为投影轴个数。
表2，2DESDLPP以及4种对比方法的最大平均识别率(％)及其相应的投影轴个数，Yale库
4、AR人脸库上的实验
AR人脸库中包括了126个人，70个男性和56个女性，共3000多张正面人脸图像，每个人的这些照片在不同的表情、光照和遮挡物等条件下拍摄，值得注意的是，AR数据库最主要的外部因素侧重点在于表情变化和面部遮挡，所以其用途主要包括人脸和表情识别我们从中选取60个人进行实验，每个人15张图像，如图9所示；
在实验中我们在每个人的所有图像中进行随机选择l(l＝2,3,4,5,6)张图像组成训练样本集，其余的图像组成测试集，当训练样本数为6时，2DESDLPP以及4种对比方法的识别结果，如图10所示，为便于比较，表3给出了在AR人脸库上当训练样本数分别为2、3、4、5和6幅时，2DESDLPP以及4种对比方法的最大平均识别率(％)及其相应的投影轴数量，括号内为投影轴个数。
表3，S2DDELPP以及4种对比算法的最大平均识别率(％)及其相应的投影轴数量，AR库
5、结论
(1)、由图2、图3和图4可知，当K＝10时，2DESDLPP在ORL、Yale以及AR人脸库上的识别率均达到最大，表明此时2DESDLPP的具有最好的特征提取能力；
(2)、从表1、表2和表3中的数据我们可以看到，随着训练样本数量的增加，大部分实验的最大平均识别率都会有一定程度的提升，并且从图6、图8和图10中的结果可以看到，在训练样本数量相同情况下，2DESDLPP的识别率均优于其他几种二维算法；
(3)、2DESDLPP是一种基于图像的方法，能够在不破坏人脸局部结构特征的前提下，利用样本的类别信息，满足“类内距离最小”以及“类间距离最大”特点的同时通过引入矩阵指数克服小样本问题，最后再利用弹性网络回归去除人脸图像中大量冗余的信息，得到一个最优稀疏的结果，进一步挖掘出对于识别和分类更为关键的特征，使得算法所得到的子空间比其它方法更有鉴别力。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (4)
1.一种审计调查中人脸识别特征提取方法，其特征在于：包括以下步骤，
步骤(A)，基于2DDLPP的原目标函数，并根据投影矩阵公式化简上述原目标函数的分子与分母，得到2DDLPP的简分子式与简分母式；
步骤(A)中所述投影矩阵公式如公式(1)所示：
Y＝XA (1)
其中，设存在训练样本集X＝[x1,x2,…,xN]，x1,x2,…,xN表示为xi，N为人脸图像数量，每个图像的像素大小为m×n，为找到一个线性变换，使得原始空间m×n嵌入到m×d空间中，且d<<n，设A＝[a1,a2,...,ad]是n×d的矩阵，a1,a2,...,ad表示为ai，ai是单位列向量，通过公式(1)，将每一幅像素大小为m×n的xi映射到投影矩阵A，得到m×d维的投影矩阵yi，即得到m×d维的投影矩阵Y；
步骤(A)中基于2DDLPP的原目标函数，该2DDLPP的原目标函数如下：
设存在样本xi、xj，且xi、xj的类标签均为ci∈{1,2,…,C}，第i和第j个样本分别表示为xi以及xj，表示与原始图像相对应的第c类投影图像矩阵，nc为第c类的样本数量，则得到2DDLPP的原目标函数，如公式(2)所示：
其中，J(Y)表示求解矩阵Y，J表示求解，为第i和第j个样本在第c类标签中的投影矩阵的均值矩阵：
为第c类中任意两个样本之间的权重矩阵其定义如下：
Wij为任意两类样本的均值之间的权重，Fi为第i类样本的均值，则Wij＝exp(||Fi-Fj||2/t)，t为一个可调正参数；
步骤(A)中根据投影矩阵公式化简上述原目标函数的分子与分母，得到2DDLPP的简分子式与简分母式，则根据公式(1)，化简公式(2)的分子得到2DDLPP的简分子式，如公式(3-1)所示：
其中，D是一个由B的行和或列和组成的对角矩阵，In是n×n大小的单位矩阵，符号/>表示矩阵的Kronecker积，L是一个拉普拉斯矩阵，L＝D-B，矩阵D提供了对原始图像对应的数据点的自然度量，第i个点的Dii值越大，对应的xi越重要；
根据公式(1)，化简公式(2)的分母得到2DDLPP的简分母式，如公式(3-2)所示：
E是一个由W的行和或列和组成的对角矩阵，H＝E-W，且公式(3-1)与公式(3-2)中的上标T表示矩阵转置；
步骤(B)，将2DDLPP的简分子式与简分母式代入其原目标函数并最小化，得到2DDLPP的终目标函数；
步骤(B)中将2DDLPP的简分子式与简分母式代入其原目标函数并最小化，得到2DDLPP的终目标函数，则将公式(3-1)与公式(3-2)代入公式(2)中，得到公式(4)：
最小化公式(4)，得到2DDLPP的终目标函数，如公式(5)所示：
步骤(C)，在2DDLPP的终目标函数中加入矩阵指数以及稀疏约束条件，得到2DESDLPP的目标函数；
步骤(C)中所述矩阵指数的定义，如公式(6)所示：
其中，M是一个m×n的矩阵，M∈Rm×n，I是一个n×n的单位矩阵，指数矩阵的性质如下：
exp(M)是一个有限数矩阵序列的和，且exp(M)为满秩矩阵；
若矩阵A和矩阵B可交换，即AB＝BA，则exp(A+B)＝exp(A)exp(B)；
若B是非奇异矩阵，则exp(B-1AB)＝B-1exp(A)B；
若v1,v2,...,vn是M对应于特征值λ1,λ2,...,λn的特征向量，且v1,v2,...,vn也是exp(M)对应于特征值的特征向量，则该矩阵是非奇异的；
步骤(C)中在2DDLPP的终目标函数中加入矩阵指数以及稀疏约束条件，得到2DESDLPP的目标函数，即在公式(5)中加入矩阵指数以及稀疏约束条件，得到2DESDLPP的目标函数，如公式(7-1)所示：
其中，Card(A)＝K是弹性回报下的稀疏约束条件，K为A中非零元素的个数，且K≤n；
公式(7-1)没有一个封闭形式的解，所以对其采用更简单的方式表示为：
再通过求解特征值问题来获得公式(7-2)的解，如公式(7-3)所示：
将公式(7-3)中的投影矩阵A正交化得到公式(8)：
其中，λi是特征值，ai是对应于该特征值的特征向量，因此，投影矩阵A＝[a1,a2,...,ad]即为公式(8)的前d个最小特征值所对应的特征向量；
根据矩阵指数的性质可知，和/>均为满秩矩阵，在SSS问题发生的情况下，/>和/>是非奇异的，即使和/>仍然是奇异的，因此，2DESDLP能够提取FTHF零空间中包含的鉴别信息；
步骤(D)，根据2DESDLPP的目标函数并引入弹性网回归提取二维人脸图像中的稀疏特征，即得到基于图像矩阵的稀疏投影矩阵；
步骤(E)，利用不同的人脸数据库，进行基于2DESDLPP并引入弹性网回归的二维人脸图像中特征提取实验，验证其有效性。
2.根据权利要求1所述的一种审计调查中人脸识别特征提取方法，其特征在于：步骤(D)中所述弹性网回归为：
设有数据(Xi,yi),i＝1,2,...,N，Xi＝(xi1,...xip)T，Xi和yi分别是第i个观测值对应的自变量和相应变量，N为样本数量，p为自变量个数，其表达式定义为：
若令ε＝λ1+λ2，则表达式为：
其中，表示弹性网回归的定义，xij表示第i个观测值xi中的第j个元素，λ1,λ2≥0是惩罚项参数，βj是变量系数，β0是常数项，由此可知，弹性网络的惩罚项为岭回归惩罚项和套索回归惩罚项的一个凸线性组合，当θ＝0时，即为岭回归，当θ＝1时，即为套索回归。
3.根据权利要求1所述的一种审计调查中人脸识别特征提取方法，其特征在于：步骤(D)中根据2DESDLPP的目标函数并引入弹性网回归提取二维人脸图像中的稀疏特征，即得到基于图像矩阵的稀疏投影矩阵；
公式(8)中得到的投影矩阵A不是稀疏的，因此，引入弹性网回归的二维拓展形式，将二维人脸图像的每一行或每一列作为一个单独的向量，以这些向量作为独立的模型单元进行相应的基于向量的回归，如公式(10)所示：
由此，得到一个基于图像矩阵的稀疏投影矩阵ASparse。
4.根据权利要求1所述的一种审计调查中人脸识别特征提取方法，其特征在于：步骤(E)中利用不同的人脸数据库，进行基于2DESDLPP并引入弹性网回归的二维人脸图像中特征提取实验，验证其有效性，该人脸数据库分别为ORL、Yale以及AR人脸数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210646646.1A CN115019368B (zh) | 2022-06-09 | 2022-06-09 | 一种审计调查中人脸识别特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210646646.1A CN115019368B (zh) | 2022-06-09 | 2022-06-09 | 一种审计调查中人脸识别特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115019368A CN115019368A (zh) | 2022-09-06 |
| CN115019368B true CN115019368B (zh) | 2023-09-12 |
Family
ID=83072851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210646646.1A Active CN115019368B (zh) | 2022-06-09 | 2022-06-09 | 一种审计调查中人脸识别特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115019368B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115761883A (zh) * | 2022-11-10 | 2023-03-07 | 南京审计大学 | 一种基于ai技术的智慧羽毛球馆自动场控方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011034342A (ja) * | 2009-07-31 | 2011-02-17 | Fujifilm Corp | 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム |
| CN105631433A (zh) * | 2016-01-14 | 2016-06-01 | 江苏大学 | 一种两维线性鉴别分析的人脸识别方法 |
| CN105975940A (zh) * | 2016-05-09 | 2016-09-28 | 大连大学 | 一种基于稀疏双向二维局部判别投影的掌纹图像识别方法 |
| CN108319891A (zh) * | 2017-12-07 | 2018-07-24 | 国网新疆电力有限公司信息通信公司 | 基于稀疏表达和改进的lda的人脸特征提取方法 |
| CN108647690A (zh) * | 2017-10-17 | 2018-10-12 | 南京工程学院 | 用于非约束人脸识别的判别稀疏保持投影方法 |
| CN110147725A (zh) * | 2019-04-12 | 2019-08-20 | 杭州电子科技大学 | 一种基于正交指数局保投影的高光谱图像特征提取方法 |
| CN110399814A (zh) * | 2019-07-12 | 2019-11-01 | 武汉科技大学 | 一种基于局部线性表示领域适应度量的人脸识别方法 |
| CN111027514A (zh) * | 2019-12-25 | 2020-04-17 | 中国电子科技集团公司信息科学研究院 | 一种基于矩阵指数的弹性保持投影方法及其应用 |
| CN111325275A (zh) * | 2020-02-20 | 2020-06-23 | 南京审计大学 | 基于低秩二维局部鉴别图嵌入的鲁棒图像分类方法及装置 |
| WO2021000524A1 (zh) * | 2019-07-03 | 2021-01-07 | 研祥智能科技股份有限公司 | 孔位保护门检测方法、装置、计算机设备和存储介质 |
| WO2021003951A1 (zh) * | 2019-07-08 | 2021-01-14 | 南京信息工程大学 | 一种基于标签约束弹性网图模型的高光谱图像分类方法 |
| CN114587384A (zh) * | 2021-11-08 | 2022-06-07 | 杭州电子科技大学 | 一种结合低秩表示与流形学习的运动想象脑电信号特征提取方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007113458A1 (en) * | 2006-03-30 | 2007-10-11 | British Telecommunications Public Limited Company | Video abstraction |
| US8064697B2 (en) * | 2007-10-12 | 2011-11-22 | Microsoft Corporation | Laplacian principal components analysis (LPCA) |
| US8218880B2 (en) * | 2008-05-29 | 2012-07-10 | Microsoft Corporation | Linear laplacian discrimination for feature extraction |
-
2022
- 2022-06-09 CN CN202210646646.1A patent/CN115019368B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011034342A (ja) * | 2009-07-31 | 2011-02-17 | Fujifilm Corp | 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム |
| CN105631433A (zh) * | 2016-01-14 | 2016-06-01 | 江苏大学 | 一种两维线性鉴别分析的人脸识别方法 |
| CN105975940A (zh) * | 2016-05-09 | 2016-09-28 | 大连大学 | 一种基于稀疏双向二维局部判别投影的掌纹图像识别方法 |
| CN108647690A (zh) * | 2017-10-17 | 2018-10-12 | 南京工程学院 | 用于非约束人脸识别的判别稀疏保持投影方法 |
| CN108319891A (zh) * | 2017-12-07 | 2018-07-24 | 国网新疆电力有限公司信息通信公司 | 基于稀疏表达和改进的lda的人脸特征提取方法 |
| CN110147725A (zh) * | 2019-04-12 | 2019-08-20 | 杭州电子科技大学 | 一种基于正交指数局保投影的高光谱图像特征提取方法 |
| WO2021000524A1 (zh) * | 2019-07-03 | 2021-01-07 | 研祥智能科技股份有限公司 | 孔位保护门检测方法、装置、计算机设备和存储介质 |
| WO2021003951A1 (zh) * | 2019-07-08 | 2021-01-14 | 南京信息工程大学 | 一种基于标签约束弹性网图模型的高光谱图像分类方法 |
| CN110399814A (zh) * | 2019-07-12 | 2019-11-01 | 武汉科技大学 | 一种基于局部线性表示领域适应度量的人脸识别方法 |
| CN111027514A (zh) * | 2019-12-25 | 2020-04-17 | 中国电子科技集团公司信息科学研究院 | 一种基于矩阵指数的弹性保持投影方法及其应用 |
| CN111325275A (zh) * | 2020-02-20 | 2020-06-23 | 南京审计大学 | 基于低秩二维局部鉴别图嵌入的鲁棒图像分类方法及装置 |
| CN114587384A (zh) * | 2021-11-08 | 2022-06-07 | 杭州电子科技大学 | 一种结合低秩表示与流形学习的运动想象脑电信号特征提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| Sparse two-dimensional discriminant locality-preserving projection (S2DDLPP) for feature extraction;Minghua Wan等;METHODOLOGIES AND APPLICATION;第23卷;第5511-5518页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115019368A (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Sphereface: Deep hypersphere embedding for face recognition | |
| Gangwar et al. | DeepIrisNet: Deep iris representation with applications in iris recognition and cross-sensor iris recognition | |
| Wang et al. | Manifold–manifold distance and its application to face recognition with image sets | |
| Yun et al. | PNN based crop disease recognition with leaf image features and meteorological data | |
| CN105138973B (zh) | 人脸认证的方法和装置 | |
| Lin et al. | Inter-modality face recognition | |
| CN112800876B (zh) | 一种用于重识别的超球面特征嵌入方法及系统 | |
| CN110443162B (zh) | 一种用于伪装人脸识别的两段式训练方法 | |
| Ross et al. | Augmenting ridge curves with minutiae triplets for fingerprint indexing | |
| Gupta et al. | Fingerprint indexing schemes–a survey | |
| CN115410088B (zh) | 一种基于虚拟分类器的高光谱图像领域自适应方法 | |
| CN115019368B (zh) | 一种审计调查中人脸识别特征提取方法 | |
| CN110516533A (zh) | 一种基于深度度量的行人再辨识方法 | |
| Li et al. | Transformer based defense GAN against palm-vein adversarial attacks | |
| Zheng et al. | Fighting fire with fire: A spatial–frequency ensemble relation network with generative adversarial learning for adversarial image classification | |
| CN100365645C (zh) | 基于眉毛识别的身份鉴别方法 | |
| Öztürk et al. | Minnet: Minutia patch embedding network for automated latent fingerprint recognition | |
| Toprak et al. | Ear anti-spoofing against print attacks using three-level fusion of image quality measures | |
| CN111695455A (zh) | 一种基于耦合判别流形对齐的低分辨人脸识别方法 | |
| Zhang | Attendance system based on blockchain and face recognition | |
| Zhu et al. | Multi-spectral palmprints joint attack and defense with adversarial examples learning | |
| CN113033345B (zh) | 基于公共特征子空间的v2v视频人脸识别方法 | |
| CN111611963B (zh) | 一种基于近邻保持典型相关分析的人脸识别方法 | |
| Wang et al. | Canonical principal angles correlation analysis for two-view data | |
| CN114332986B (zh) | 一种基于子空间学习的小样本人脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |