CN107451538A - 基于加权最大间距准则的人脸数据可分性特征提取方法 - Google Patents

基于加权最大间距准则的人脸数据可分性特征提取方法 Download PDF

Info

Publication number
CN107451538A
CN107451538A CN201710568584.6A CN201710568584A CN107451538A CN 107451538 A CN107451538 A CN 107451538A CN 201710568584 A CN201710568584 A CN 201710568584A CN 107451538 A CN107451538 A CN 107451538A
Authority
CN
China
Prior art keywords
msub
mrow
class
munderover
msubsup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710568584.6A
Other languages
English (en)
Inventor
刘敬
邱程程
刘逸
吴进
刘鑫磊
李梦岩
张延冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN201710568584.6A priority Critical patent/CN107451538A/zh
Publication of CN107451538A publication Critical patent/CN107451538A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于加权最大间距准则的人脸数据可分性特征提取方法，主要解决已有最大间距准则MMC特征提取用非常有限的训练样本无法较为准确地估计超高维空间样本的真实散布，导致了MMC所提取的特征推广能力差，最终影响了分类的准确率的问题。其实现方案是：1)计算原始数据的类间散布矩阵Sb和类内散布矩阵Sw；2)对类间和类内散布矩阵加权，得到加权最大间距准则WMMC函数；3)最大化WMMC准则函数，得出映射矩阵；4)将原始数据映射到WMMC子空间；5)在WMMC子空间分类。本发明能在超高维小样本情况下，提取出推广能力强的可分性特征，从而提高人脸识别率，可用于超高维小样本数据的可分性特征提取。

Description

基于加权最大间距准则的人脸数据可分性特征提取方法
技术领域
本发明属于图像处理技术领域，更进一步涉及人脸数据可分性特征提取方法，可用于超高维小样本数据的可分性特征提取。
背景技术
近年来，人脸识别技术是一个研究的热点。人脸数据与普通数据相比，具有超高维小样本的特点。由于人脸数据维数过高，等于图像像素个数，常达几千上万维；而样本个数常为几十个，相对于维数过低，使得人脸数据处理起来比较困难。通常在采用人脸数据进行分类之前需要对原始数据进行特征提取处理，以降低维数并提高人脸识别效率，因此人脸数据的特征提取技术也越来越多。数据的可分性特征提取技术，是指通过某种变换将原始数据映射到低维特征子空间，使得数据在该低维子空间获得较好的可分性。可分性特征提取方法常用于人脸识别领域，可降低维数，提高分类识别率和分类速度。
基于Fisher准则的线性判别分析LDA是经典的可分性特征提取方法，LDA将高维的原始样本投影到低维特征子空间，使得在子空间中数据的类间散布与类内散布之比最大。LDA的解为的前d个最大特征值对应的特征向量，Sw和Sb分别为原始空间数据的类内散布矩阵和类间散布矩阵。但是，对于超高维小样本数据，即训练样本数量远小于原始数据的维数时，会造成类内散布矩阵奇异，其逆矩阵不存在，使得LDA不能直接求解的前d个最大特征值对应的特征向量。
为了解决LDA存在的小样本问题，最大间距准则MMC方法被提出。MMC是一种比较新的可分性特征提取方法，MMC针对小样本情况下LDA因类内散布矩阵奇异而无法求解的缺点，将目标函数更改为特征子空间中类间散布与类内散布之差最大。因此，求解MMC无需计算Sw的逆，从根本上解决了小样本情况下Fisher准则因类内散布矩阵奇异而无法求解的问题。
基于MMC的人脸数据可分性特征提取方法近年来应用得越来越广泛。MMC方法与传统的LDA方法相比，可以从根本上解决小样本情况下的求解问题，基于MMC的特征提取技术也得到越来越多的应用。
但是，基于MMC的人脸数据可分性特征提取方法存在的不足之处是：人脸数据的维数高达几千甚至上万维，而样本个数往往仅为几十个，采用MMC提取人脸数据特征时，仅根据目前有限的训练样本估计数据的散布，由于样本个数与数据维数相差悬殊，用非常有限的训练样本无法较为准确地估计超高维空间样本的真实散布，导致了MMC所提取的特征推广能力差，最终影响了分类的准确率。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于加权最大间距准则的人脸数据可分性特征提取方法，以获得推广能力高的可分性特征，提高人脸识别精度。
本发明的技术思路是，通过将实际的数据散布考虑得更差的思想对超高维小样本人脸数据进行特征提取，认为实际的数据散布类间更聚集，类内更分散，即实际的类间散布比当前用有限的训练样本所计算的类间散布矩阵Sb反映得更小，实际的类内散布比当前用有限的训练样本所计算的类内散布矩阵Sw反映得更大。通过分别对类间散布矩阵Sb乘以小于1的权重，对类内散布矩阵Sw乘以大于1的权重，并结合MMC提出新的准则函数用于人脸数据的可分性特征提取，提取出推广能力强的可分性特征，从而提高人脸识别率。其实现步骤包括如下：
(1)将给定的人脸数据集划分为训练样本和测试样本，用训练样本计算原始数据的类间散布矩阵Sb和类内散布矩阵Sw；
(2)对类间散布矩阵Sb乘以小于1的权重αb，对类内散布矩阵Sw乘以大于1的权重αw，得出加权最大间距准则WMMC函数：
J(W)＝tr[WT(αbSb-αwSw)W]，
其中，tr表示矩阵的迹，即矩阵主对角线元素的和，T表示矩阵的转置，αb表示Sb的权重，αw表示Sw的权重，且0＜αb≤1，1≤αw；
(3)求解加权最大间距准则WMMC函数中的映射矩阵W：
3a)在以W各列为基向量所支撑的特征子空间各维正交归一化作为约束条件，最大化WMMC函数，得到最优化模型：
其中，wk表示W的列向量，为正交归一化约束条件，d表示特征子空间维数；
3b)利用拉格朗日乘数法，对最优化模型进行求解，得到映射矩阵W，该W的各列即为WMMC所提取的人脸数据的可分性特征。
本发明与现有的技术相比具有以下优点：
1.提取出人脸数据可分性特征具有更强的推广能力。
现有的超高维小样本情况下的特征提取技术，仅利用极为有限的训练样本，来估计数据的真实散布，造成所提取特征推广能力差的问题；本发明将实际数据的散布考虑得更差，即认为实际数据散布类间更聚集，类内更分散，从而可以在超高维小样本空间提取出推广能力更强的人脸数据可分性特征。
2.提高了人脸识别精度。
现有最大间距准则特征提取方法无法用训练样本的类间散布矩阵和类内散布矩阵，对超高维小样本情况下数据真实散布进行准确估计；本发明在超高维小样本情况下，通过对类间散布矩阵减小权重和对类内散布矩阵增大权重，实现将实际的数据散布考虑得更差，提出了新的准则函数，使得本发明提取出了推广能力更强的人脸数据可分性特征，从而提高了人脸识别精度。
附图说明
图1是本发明的实现流程图；
图2是仿真实验中用本发明WMMC方法和现有MMC方法对ORL数据进行特征提取后的识别结果图。
图3是仿真实验中采用本发明WMMC方法和现有MMC方法对Yale数据进行特征提取后的识别结果图。
具体实施方式
参照图1，本发明中基于加权最大间距准则的人脸数据的特征提取方法包括如下：
步骤1，计算原始人脸数据的类间散布矩阵Sb和类内散布矩阵Sw。
将原始人脸数据划分为训练样本和测试样本，用训练样本计算原始数据的类间散布矩阵Sb和类内散布矩阵Sw，其计算公式如下:
其中，C表示样本的类别数，Pi表示第i类训练样本的先验概率，其通过该类训练样本个数除以总训练样本个数估计得到，即Pi＝Ni/N，N表示总训练样本个数；Ni表示第i类训练样本的个数；mi表示第i类训练样本的均值向量， 表示第i类的第j个训练样本；m表示训练样本的整体均值向量，
步骤2，对类间和类内散布矩阵加权，得到加权最大间距准则WMMC函数。
对类间散布矩阵Sb乘以小于1的权重αb，对类内散布矩阵Sw乘以大于1的权重αw，得出加权最大间距准则WMMC函数：
其中，tr表示矩阵的迹，即矩阵主对角线元素的和；T表示矩阵的转置，αb表示Sb的权重，αw表示Sw的权重，且0＜αb≤1，1≤αw；
权重系数αb和αw的选取分三种情况：
第一种情况：固定αw＝1，令10-3≤αb＜1，即将实际类间散布考虑得更差；
第二种情况：固定αb＝1，令1＜αw≤103，即将实际类内散布考虑得更差；
第三种情况：同时改变αb和αw，令10-3≤αb＜1且1＜αw≤103，即将实际类间散布和类内散布均考虑得更差。
步骤3，求解加权最大间距准则WMMC函数中的映射矩阵W。
3a)在以W各列为基向量所支撑的特征子空间各维正交归一化作为约束条件，最大化WMMC函数，得到最优化模型：
其中，wk表示W的列向量，为正交归一化约束条件，d表示特征子空间维数；
3b)利用拉格朗日乘数法，对最优化模型进行求解，得到映射矩阵W，实现步骤如下：
3b1)利用拉格朗日乘数法，构造拉格朗日函数：
3b2)用拉格朗日函数L(wk,λk)对wk求偏导数，令其偏导数为0，即
由式<2>得到(αbSb-αwSw)wk＝λkwk，则
其中，λk是(αbSb-αwSw)的特征值，wk是该特征值对应的特征向量，由式<3>说明[w1,w2,...,wk,...,wd]矢量集为特征方程(αbSb-αwSw)wk＝λkwk的前d个最大特征值对应的特征向量；
对(αbSb-αwSw)进行特征值分解，取前d个最大特征值对应的特征向量w1,w2,...,wk,...,wd构成WMMC映射矩阵的各列，即W＝[w1,w2,...,wk,...,wd]。
步骤4，将原空间的训练样本和测试样本映射到WMMC特征子空间，得到映射后的样本y：
y＝WTx
其中x为原空间中任意样本。
本发明的效果可通过以下仿真实验进一步说明：
1.仿真实验条件
仿真实验环境：操作系统为Windows 7，CPU为2.50GHz，内存为4.0GB，编程平台为MATLAB R2014a。
主要采用的分类器：最小距离MD分类器和k近邻kNN分类器，kNN分类器中的距离选取余弦距离，近邻个数k取10。
实验采用的人脸数据包括ORL人脸数据和Yale人脸数据，其中：
ORL人脸库由40人组成，每人10幅大小为32×32的图像共400幅人脸图像数据，数据维数为1024维，随机选取每人的5张、6张、7张图像作为训练样本，其余作为测试样本；
Yale人脸库由15人组成，每人11幅大小为32×32的图像共165幅人脸图像数据，数据维数为1024维，随机选取每人的5张、6张、7张图像作为训练样本，其余作为测试样本；
2.仿真实验内容
仿真实验一，用本发明分别采用MD分类器和kNN分类器对ORL人脸数据进行分类识别，结果如图2，其中：
图2(a)为10-3≤αb≤1时采用MD分类器进行分类识别的识别率变化曲线图，
图2(b)为10-3≤αb≤1时采用kNN分类器进行分类识别的识别率变化曲线图，
图2(c)为1≤αw≤103时采用MD分类器进行分类识别的识别率变化曲线图，
图2(d)为1≤αw≤103时采用kNN分类器进行分类识别的识别率变化曲线图。
从图2(a)和图2(b)可以看出，当αb＝1时即为MMC特征提取方法，随着αb的减小，本发明方法的识别率随之增大且明显高于MMC方法对应的识别率，当权重αb减小到一定程度后，对识别率没有影响，可选一个合适的权值作为该情况下的最优权值。
从图2(c)和图2(d)可以看出，当αw＝1时即为MMC特征提取方法，随着αw的增大，本发明方法的识别率随之增大且明显高于MMC方法对应的识别率，当权重αw增大到一定程度后，对识别率没有影响，可选一个合适的权值作为该情况下的最优权值。
仿真实验二，用本发明分别采用MD分类器和kNN分类器对Yale人脸数据进行分类识别，结果如图3，其中：
图3(a)为10-3≤αb≤1时采用MD分类器进行分类识别的识别率变化曲线图，
图3(b)为10-3≤αb≤1时采用kNN分类器进行分类识别的识别率变化曲线图，
图3(c)为1≤αw≤103时采用MD分类器进行分类识别的识别率变化曲线，
图3(d)为1≤αw≤103时采用kNN分类器进行分类识别的识别率变化曲线图。
从图3(a)和图3(b)可以看出，当αb＝1时即为MMC特征提取方法，随着αb的减小，本发明方法的识别率随之增大且明显高于MMC方法对应的识别率，当权重αb减小到一定程度后，对识别率没有影响，可选一个合适的权值作为该情况下的最优权值。
从图3(c)和图3(d)可以看出，当αw＝1时即为原MMC特征提取方法，随着αw的增大，本发明方法的识别率随之增大且明显高于MMC方法对应的识别率，当权重αw增大到一定程度后，对识别率没有影响，可选一个合适的权值作为该情况下的最优权值。
3.统计出上述实验的平均识别率
对上述仿真实验一和仿真实验二中的数据均进行20次分类，统计出平均识别率，如下表所示。其中：
表1和表2分别为本发明在权重αb取0.1至1，步长为0.1，固定权重αw＝1不变的条件下，采用MD分类器和kNN分类器对ORL人脸数据分类识别后的平均识别率；
表3和表4分别为本发明在权重αw取1至10，步长为1，固定权重αb＝1不变的条件下，采用MD分类器和kNN分类器对ORL人脸数据分类识别后的平均识别率。
表5和表6分别为用本发明采用MD分类器和kNN分类器对ORL人脸数据分类识别后的平均识别率，其中，本发明权重αb取0.1至1，步长为0.1，当αb每取一个值时，依次将权重αw从1至10取值且步长为1，直至αb取到1，由于篇幅有限仅取部分权值下对应的分类结果。
表7和表8分别为本发明在权重αb取0.1至1，步长为0.1，固定权重αw＝1不变的条件下，采用MD分类器和kNN分类器对Yale人脸数据分类识别后的平均识别率。
表9和表10分别为本发明在权重αw取1至10，步长为1，固定权重αb＝1不变的条件下，采用MD分类器和kNN分类器对Yale人脸数据分类识别后的平均识别率。
表11和表12分别为用本发明采用MD分类器和kNN分类器对Yale人脸数据分类识别后的平均识别率，其中，本发明权重αb取0.1至1，步长为0.1，当αb每取一个值时，依次将权重αw从1至10取值且步长为1，直至αb取到1，由于篇幅有限仅取部分权值下对应的分类结果。
表1 ORL人脸数据在MD分类器下的识别率(％)
表2 ORL人脸数据在kNN分类器下的识别率(％)
由表1和表2可以看出，在不同训练样本数下，当αb＝0.1时，用本发明进行分类识别后的识别率均最高。用本发明采用MD分类器的识别率比MMC分别提高了4.43、5.22和4.58个百分点；用本发明采用kNN分类器时的识别率比MMC分别提高了8.58、7.53和6.12个百分点。
表3 ORL人脸数据在MD分类器下的识别率(％)
表4 ORL人脸数据在kNN分类器下的识别率(％)
由表3和表4可以看出，在不同训练样本数下，当αw＝10时，用本发明进行分类识别后的识别率均最高。用本发明采用MD分类器的识别率比MMC分别提高了4.43、5.22和4.58个百分点；用本发明采用kNN分类器时的识别率比MMC分别提高了8.53、7.57和6.12个百分点。
表5 ORL人脸数据在MD分类器下的识别率(％)
表6 ORL人脸数据在kNN分类器下的识别率(％)
由表5和表6可以看出，在本发明WMMC方法将类内和类间散布都考虑得更差的情况下，对ORL人脸数据的识别率比采用MMC方法有明显提高。当αb＝0.3，αw＝8时，用本发明采用MD分类器的识别率比MMC分别提高了5.03、5.53和4.62个百分点；用本发明采用kNN分类器时的识别率比MMC分别提高了9.03、8.5、6.12个百分点。
表7 Yale人脸数据在MD分类器下的识别率(％)
表8 Yale人脸数据在kNN分类器下的识别率(％)
由表7和表8可以看出，在不同训练样本数下，当αb＝0.1时，用本发明进行分类识别后的识别率均最高。用本发明采用MD分类器的识别率比MMC分别提高了8.6、7.16和6.92个百分点；用本发明采用kNN分类器时的识别率比MMC分别提高了9.13、8.09和8个百分点。
表9 Yale人脸数据在MD分类器下的识别率(％)
表10 Yale人脸数据在kNN分类器下的识别率(％)
由表9和表10可以看出，在不同训练样本数下，当αw＝10时，用本发明进行分类识别后的识别率均最高。用本发明采用MD分类器的识别率比MMC分别提高了8.6、7.16和6.89个百分点；用本发明采用kNN分类器时的识别率比MMC分别提高了9.59、8.25和8.08个百分点。
表11 Yale人脸数据在MD分类器下的识别率(％)
表12 Yale人脸数据在kNN分类器下的识别率(％)
由表11和表12可以看出，在本发明WMMC方法将类内和类间散布都考虑得更差的情况下，对Yale人脸数据的识别率比采用MMC方法有明显提高。当αb＝0.3，αw＝8时，用本发明采用MD分类器的识别率比MMC分别提高了9.8、8.5和7.75个百分点；采用kNN分类器时的识别率比MMC分别提高了10.13、9.25和8.42个百分点。

Claims (4)

1.一种基于加权最大间距准则的人脸数据可分性特征提取方法，包括：
(1)将给定的人脸数据集划分为训练样本和测试样本，用训练样本计算原始数据的类间散布矩阵Sb和类内散布矩阵Sw；
(2)对类间散布矩阵Sb乘以小于1的权重αb，对类内散布矩阵Sw乘以大于1的权重αw，得出加权最大间距准则WMMC函数：
J(W)＝tr[WT(αbSb-αwSw)W]，
其中，tr表示矩阵的迹，即矩阵主对角线元素的和，T表示矩阵的转置，αb表示Sb的权重，αw表示Sw的权重，且0＜αb≤1，1≤αw；
(3)求解加权最大间距准则WMMC函数中的映射矩阵W：
3a)在以W各列为基向量所支撑的特征子空间各维正交归一化作为约束条件，最大化WMMC函数，得到最优化模型：
<mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </munderover> <msubsup> <mi>w</mi> <mi>k</mi> <mi>T</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>b</mi> </msub> <msub> <mi>S</mi> <mi>b</mi> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>w</mi> </msub> <msub> <mi>S</mi> <mi>w</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> </mrow>
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>w</mi> <mi>k</mi> <mi>T</mi> </msubsup> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>d</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，wk表示W的列向量，为正交归一化约束条件，d表示特征子空间维数；
3b)利用拉格朗日乘数法，对最优化模型进行求解，得到映射矩阵W，该W的各列即为WMMC所提取的人脸数据的可分性特征。
2.根据权利要求1所述的方法，其特征在于，步骤(1)中用训练样本计算原始数据的类间散布矩阵Sb和类内散布矩阵Sw，分别采用如下公式计算:
<mrow> <msub> <mi>S</mi> <mi>b</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>C</mi> </munderover> <msub> <mi>P</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>m</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>m</mi> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>m</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>m</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>,</mo> </mrow>
<mrow> <msub> <mi>S</mi> <mi>w</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>C</mi> </munderover> <mfrac> <msub> <mi>P</mi> <mi>i</mi> </msub> <msub> <mi>N</mi> <mi>i</mi> </msub> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>i</mi> </msub> </munderover> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mo>-</mo> <msub> <mi>m</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>j</mi> <mi>i</mi> </msubsup> <mo>-</mo> <msub> <mi>m</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>,</mo> </mrow>
其中，C表示样本的类别数，Pi表示第i类训练样本的先验概率，其通过该类训练样本个数除以总训练样本个数估计得到，即Pi＝Ni/N，N表示总训练样本个数；Ni表示第i类训练样本的个数；mi表示第i类训练样本的均值向量， 表示第i类的第j个训练样本；m表示训练样本的整体均值向量，
3.根据权利要求1所述的方法，其特征在于，步骤(2)中加权最大间距准则WMMC函数,采用如下公式计算：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>J</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>t</mi> <mi>r</mi> <mo>&amp;lsqb;</mo> <msup> <mi>W</mi> <mi>T</mi> </msup> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>b</mi> </msub> <msub> <mi>S</mi> <mi>b</mi> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>w</mi> </msub> <msub> <mi>S</mi> <mi>w</mi> </msub> <mo>)</mo> </mrow> <mi>W</mi> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </munderover> <msubsup> <mi>w</mi> <mi>k</mi> <mi>T</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>b</mi> </msub> <msub> <mi>S</mi> <mi>b</mi> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>w</mi> </msub> <msub> <mi>S</mi> <mi>w</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>;</mo> <mn>0</mn> <mo>&lt;</mo> <msub> <mi>&amp;alpha;</mi> <mi>b</mi> </msub> <mo>&amp;le;</mo> <mn>1</mn> <mo>,</mo> <mn>1</mn> <mo>&amp;le;</mo> <msub> <mi>&amp;alpha;</mi> <mi>w</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，权重系数αb和αw的选取分三种情况：
第一种情况：固定αw＝1，令10-3≤αb＜1，即将实际类间散布考虑得更差；
第二种情况：固定αb＝1，令1＜αw≤103，即将实际类内散布考虑得更差；
第三种情况：同时改变αb和αw，令10-3≤αb＜1且1＜αw≤103，即将实际类间散布和类内散布均考虑得更差。
4.根据权利要求1所述的方法，其特征在于，步骤3b)中利用拉格朗日乘数法，对最优化模型进行求解，得到映射矩阵W，实现步骤如下：
3b1)利用拉格朗日乘数法，构造拉格朗日函数：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>&amp;lambda;</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </munderover> <msubsup> <mi>w</mi> <mi>k</mi> <mi>T</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>b</mi> </msub> <msub> <mi>S</mi> <mi>b</mi> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>w</mi> </msub> <msub> <mi>S</mi> <mi>w</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>-</mo> <msub> <mi>&amp;lambda;</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>w</mi> <mi>k</mi> <mi>T</mi> </msubsup> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mo>&lt;</mo> <mn>1</mn> <mo>&gt;</mo> </mrow>
3b2)用拉格朗日函数L(wk,λk)对wk求偏导数，令其偏导数为0，即
<mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>L</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>&amp;lambda;</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;part;</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> </mrow> </mfrac> <mo>=</mo> <mn>2</mn> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>b</mi> </msub> <msub> <mi>S</mi> <mi>b</mi> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>w</mi> </msub> <msub> <mi>S</mi> <mi>w</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>-</mo> <mn>2</mn> <msub> <mi>&amp;lambda;</mi> <mi>k</mi> </msub> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mo>&lt;</mo> <mn>2</mn> <mo>&gt;</mo> </mrow>
由式<2>得到(αbSb-αwSw)wk＝λkwk，则
<mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </munderover> <msubsup> <mi>w</mi> <mi>k</mi> <mi>T</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>b</mi> </msub> <msub> <mi>S</mi> <mi>b</mi> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>w</mi> </msub> <msub> <mi>S</mi> <mi>w</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </munderover> <msub> <mi>&amp;lambda;</mi> <mi>k</mi> </msub> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mo>&lt;</mo> <mn>3</mn> <mo>&gt;</mo> </mrow>
其中，λk是(αbSb-αwSw)的特征值，wk是该特征值对应的特征向量，由式<3>说明[w1,w2,...,wk,...,wd]矢量集为特征方程(αbSb-αwSw)wk＝λkwk的前d个最大特征值对应的特征向量，将(αbSb-αwSw)特征值分解，取前d个最大特征值对应的特征向量w1,w2,...,wk,...,wd构成WMMC映射矩阵的各列，即W＝[w1,w2,...,wk,...,wd]；
3b3)将原空间的训练样本和测试样本映射到WMMC特征子空间，得到映射后的样本y：
y＝WTx
其中x为原空间中任意样本。
CN201710568584.6A 2017-07-13 2017-07-13 基于加权最大间距准则的人脸数据可分性特征提取方法 Pending CN107451538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710568584.6A CN107451538A (zh) 2017-07-13 2017-07-13 基于加权最大间距准则的人脸数据可分性特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710568584.6A CN107451538A (zh) 2017-07-13 2017-07-13 基于加权最大间距准则的人脸数据可分性特征提取方法

Publications (1)

Publication Number Publication Date
CN107451538A true CN107451538A (zh) 2017-12-08

Family

ID=60487922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710568584.6A Pending CN107451538A (zh) 2017-07-13 2017-07-13 基于加权最大间距准则的人脸数据可分性特征提取方法

Country Status (1)

Country Link
CN (1) CN107451538A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340061A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 基于svm模型参数优化的多模态数据融合和分类方法
CN114936597A (zh) * 2022-05-20 2022-08-23 电子科技大学 一种局部信息增强子空间真假目标特征提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678265A (zh) * 2016-01-06 2016-06-15 广州洪森科技有限公司 基于流形学习的数据降维方法及装置
CN105868713A (zh) * 2016-03-29 2016-08-17 杭州农鑫科技有限公司 一种基于核lda的并行特征融合人脸表情识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678265A (zh) * 2016-01-06 2016-06-15 广州洪森科技有限公司 基于流形学习的数据降维方法及装置
CN105868713A (zh) * 2016-03-29 2016-08-17 杭州农鑫科技有限公司 一种基于核lda的并行特征融合人脸表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHENGDONG CHENG, ET AL.: "Automatic coefficient selection in Weighted Maximum Margin Criterion", 《 2008 19TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *
刘亚亚 程国: "一种改进的最大间距准则人脸识别方法", 《科学技术与工程》 *
缪春慧: "基于 WMMC 的人脸识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340061A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 基于svm模型参数优化的多模态数据融合和分类方法
CN114936597A (zh) * 2022-05-20 2022-08-23 电子科技大学 一种局部信息增强子空间真假目标特征提取方法
CN114936597B (zh) * 2022-05-20 2023-04-07 电子科技大学 一种局部信息增强子空间真假目标特征提取方法

Similar Documents

Publication Publication Date Title
CN107563385B (zh) 基于深度卷积生成式对抗网络的车牌字符识别方法
CN103632168B (zh) 一种机器学习中的分类器集成方法
CN102163281B (zh) 基于AdaBoost框架和头部颜色的实时人体检测方法
CN103413117B (zh) 一种基于局部保持非负矩阵分解的增量学习人脸识别方法
CN103198251B (zh) 一种基于神经网络的硬件木马识别方法
CN104008375B (zh) 基于特征融合的集成人脸识别方法
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN105678261B (zh) 基于有监督图的直推式数据降维方法
CN106371610A (zh) 一种基于脑电信号的驾驶疲劳的检测方法
CN103941244B (zh) 一种雷达目标一维距离像局部最优子空间识别方法
CN105740887A (zh) 一种基于pso-svm的脑电信号特征分类方法
CN103839078B (zh) 一种基于主动学习的高光谱图像分类方法
CN101004791A (zh) 一种基于二维偏最小二乘法的面部表情识别方法
CN107480623A (zh) 基于协作表示的近邻保持人脸识别方法
CN107943830A (zh) 一种适用于高维大数据集的数据分类方法
CN107273824A (zh) 基于多尺度多方向局部二值模式的人脸识别方法
CN109255339B (zh) 基于自适应深度森林人体步态能量图的分类方法
CN107194314A (zh) 融合模糊2dpca和模糊2dlda的人脸识别方法
CN107145841A (zh) 一种基于矩阵的低秩稀疏人脸识别方法及其系统
CN104966075A (zh) 一种基于二维判别特征的人脸识别方法与系统
CN105956570A (zh) 基于唇部特征和深度学习的笑脸识别方法
CN106778714A (zh) 基于非线性特征和模型合并的lda人脸识别方法
CN107451538A (zh) 基于加权最大间距准则的人脸数据可分性特征提取方法
CN105740787A (zh) 基于多核鉴别彩色空间的人脸识别方法
CN101877065B (zh) 小样本条件下的人脸图像非线性鉴别特征抽取和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171208

RJ01 Rejection of invention patent application after publication