CN102693422B - 增强类局部二元模式特征人脸识别性能的滤波器设计方法 - Google Patents

Abstract

本发明涉及一种滤波器设计方法，尤其是一种增强类局部二元模式特征人脸识别性能的滤波器设计方法，属于图像处理与模式识别的技术领域。按照本发明提供的技术方案，一种增强类局部二元模式特征人脸识别性能的滤波器设计方法，所述滤波器设计方法包括如下步骤：a、输入多个训练样本图像，并提取所述输入训练样本图像的像素差分向量；b、根据上述差分向量，计算得到训练样本图像的类内协方差矩阵S_ω、类间协方差矩阵S_b；c、计算得到上述类内协方差矩阵S_ω的trace(S_ω)、类间协方差矩阵S_b的trace(S_b)，并计算trace(S_b)与trace(S_ω)间的比值，利用Fisher判别准则得到所需的最优滤波器。本发明简单方便，提高人脸识别性能，适应范围广。

Description

增强类局部二元模式特征人脸识别性能的滤波器设计方法

技术领域

本发明涉及一种滤波器设计方法，尤其是一种增强类局部二元模式特征人脸识别性能的滤波器设计方法，属于图像处理与模式识别的技术领域。

背景技术

人脸识别作为一种基于生物特征的身份认证技术，目前正得到越来越多的重视，并且已经开始应用在许多重大安防项目中。基本说来，人脸识别可以分为三个部分，一是人脸图像预处理，二是人脸图像特征提取，三是特征模板比对。其中在特征提取部分，主要有两种流行的方法，一是基于人脸整体图像提取全局特征，二是从人脸局部区域提取局部特征。常见的全局特征方法包括主成分分析，线性判别分析，独立成分分析等。常用的局部特征包括Gabor特征，局部二元模式特征（如LBP）等。一般而言，局部特征相较于全局特征，对光照、姿态、表情等变化更加鲁棒，因而在人脸识别系统中得到更广泛的应用。

在众多的局部特征中，类局部二元模式特征（LBP-like）以其简单、高效的优点，目前成为了人脸识别领域的主流特征。类局部二元模式特征是在局部二元模式特征LBP的基础上所衍生出的各个变种特征的总称，如MBLBP等，其构造方式与传统的LBP特征非常相似。类局部二元模式的提取可以大致分为三个阶段：图像滤波101，特征点采样及比对102，比对结果编码103，如图1所示。现有的采用类似于LBP特征的方法都可以划分为以上三个阶段。例如：最原始的LBP方法省略了图像滤波这一阶段，特征点采样选取某一个像素点周围的8邻域特征点，采用十进制对比对结果进行编码。Zhang等人结合了Gabor特征和LBP，即在第一阶段用Gabor特征对图像进行滤波，在第二阶段采用像素的8邻域采样方式，在第三阶段用十进制进行编码。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种增强类局部二元模式特征人脸识别性能的滤波器设计方法，其简单方便，提高人脸识别性能，适应范围广。

按照本发明提供的技术方案，一种增强类局部二元模式特征人脸识别性能的滤波器设计方法，所述滤波器设计方法包括如下步骤：

a、输入多个训练样本图像，并提取所述输入训练样本图像的像素差分向量；

b、根据上述差分向量，计算得到训练样本图像的类内协方差矩阵S_ω、类间协方差矩阵S_b；

c、计算得到上述类内协方差矩阵S_ω的trace(S_ω)、类间协方差矩阵S_b的trace(S_b)，并计算trace(S_b)与trace(S_ω)间的比值，利用Fisher判别准则得到所需的最优滤波器。

所述步骤a中，输入图像为同质人脸图像时，像素差分向量为：

$\mathrm{df}{\left(I\right)}^P=[f{\left(I\right)}^{p_1}-f{\left(I\right)}^p,f{\left(I\right)}^{p_2}-f{\left(I\right)}^p,...,f{\left(I\right)}^{p_d}-f{\left(I\right)}^p];$

其中，

是像素点p_i滤波后的值，{p₁,p₂,...,p_d}是像素p的邻域像素，d是邻域像素个数，df(I)^P表示滤波后的图像在P处的像素差异向量PDV。

所述步骤a中，输入多个训练样本图像包括两种模态的异质人脸图像时，分别对两种模态的异质人脸图像进行提取像素差分向量。

所述步骤b中，类内协方差矩阵S_W为：

$S_W=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{C_i}{\mathrm{\Σ}}}\underset{p=1}{\overset{N}{\mathrm{\Σ}}}(\mathrm{df}{\left(I\right)}_{\mathrm{ij}}^p-\mathrm{df}{\left(m\right)}_i^p){(\mathrm{df}{\left(I\right)}_{\mathrm{ij}}^p-\mathrm{df}{\left(m\right)}_i^p)}^T$

$=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{C_i}{\mathrm{\Σ}}}(\mathrm{df}{\left(I\right)}_{\mathrm{ij}}-\mathrm{df}{\left(m\right)}_i){(\mathrm{df}{\left(I\right)}_{\mathrm{ij}}-\mathrm{df}{\left(m\right)}_i)}^T;$

类间协方差矩阵S_b为

$S_b=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{C}_i(\mathrm{df}{\left(I\right)}_i^p-\mathrm{df}{\left(m\right)}^p){(\mathrm{df}{\left(I\right)}_i^p-\mathrm{df}{\left(m\right)}^p)}^T$

$=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{C}_i(\mathrm{df}{\left(m\right)}_i-\mathrm{df}\left(m\right)){(\mathrm{df}{\left(m\right)}_i-\mathrm{df}\left(m\right))}^T$

其中，N为单个训练样本图像的像素点个数，L是训练样本图像的总类别数目，C_i是第i类的图像数目，

是第i类中第p个PDV向量的均值，df(m)^p是所有图像第p个PDV向量的均值。

所述b中，类内协方差矩阵S_W为

$S_W=S_W^{\mathrm{VV}}+S_W^{\mathrm{MM}}+S_W^{\mathrm{VM}}+S_W^{\mathrm{MV}};$

其中，

分别表示模态V的类内协方差矩阵、模态M的类内协方差矩阵、模态M与模态V间的类内协方差矩阵及模态V与模态M间类内协方差矩阵；

类间协方差矩阵S_b为

$S_b=S_b^{\mathrm{VV}}+S_b^{\mathrm{MM}}+S_b^{\mathrm{VM}}+S_b^{\mathrm{MV}}$

其中，

分别表示模态V的类间协方差矩阵、模态M的类间协方差矩阵、模态V与模态M间的类间协方差矩阵及模态M与模态V间的类间协方差矩阵；模态V与模态M为异质人脸图像的两种模态。

所述模态V与模态M之间的类内协方差矩阵为：

$S_w^{\mathrm{VM}}=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{C_i}{\mathrm{\Σ}}}\underset{p=1}{\overset{N}{\mathrm{\Σ}}}(\mathrm{df}{\left(I^V\right)}_{\mathrm{ij}}^p-\mathrm{df}{\left(m^M\right)}_i^p){(\mathrm{df}{\left(I^V\right)}_{\mathrm{ij}}^p-\mathrm{df}{\left(m^M\right)}_i^p)}^T$

$=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{C_i}{\mathrm{\Σ}}}(\mathrm{df}{\left(I^V\right)}_{\mathrm{ij}}-\mathrm{df}{\left(m^M\right)}_i){(\mathrm{df}{\left(I^V\right)}_{\mathrm{ij}}-\mathrm{df}{\left(m^M\right)}_i)}^T.$

所述模态V与模态M之间的类间协方差矩阵为：

$S_b^{\mathrm{VM}}=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{C}_i(\mathrm{df}{\left(m^V\right)}_i^p-f{\left(m^M\right)}^p){(\mathrm{df}{\left(m^V\right)}_i^p-f{\left(m^M\right)}^p)}^T$

$=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{C}_i(\mathrm{df}{\left(m^V\right)}_i-f\left(m^M\right)){(\mathrm{df}{\left(m^V\right)}_i-f\left(m^M\right))}^T.$

本发明的优点：采用Fisher判别准则，设计图像滤波器后使得类内样本和类间样本之间的差异最大。本发明还将这一思想扩展到异质人脸图像识别中，通过对不同模态下的人脸图像分别设计不同的滤波器，使得图像经过滤波之后不仅消除了不同模态之间的差异性，同时也增大了类内和类间的人脸样本差异，从而简化异质人脸识别难度，提高异质人脸图像识别性能。

附图说明

图1为现有类局部二元模式特征抽取过程的流程图。

图2为本发明类局部二元模式特征抽取过程的流程图。

图3为本发明滤波器的设计流程图。

图4为PDV抽取的示意图。

图5为本发明异质人脸识别中滤波器的设计流程图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

如图3所示：本发明增强类局部二元模式特征人脸识别性能的滤波器设计方法包括如下步骤：

a、输入多个训练样本图像，并提取所述输入训练样本图像的像素差分向量；其中，输入的多个训练样本图像包括同质人脸图像及异质人脸图像，当训练样本图像为异质人脸图像时，异质人脸图像包括两个模态的图像，需要对每个模态的图像分别提取计算像素差分向量，如步骤301；

b、根据上述差分向量，计算得到训练样本图像的类内协方差矩阵S_ω、类间协方差矩阵S_b；如步骤302

c、计算得到上述类内协方差矩阵S_W的trace(S_W)、类间协方差矩阵S_b的trace(S_b)，并计算trace(S_b)与trace(S_W)间的比值，利用Fisher判别准则得到所需的最优滤波器。如步骤303，Fisher判别准则为本技术领域的判别条件，根据Fisher判别准则获得所需的最优滤波器后，当再需要对人脸识别时，可以直接将人脸图像进行滤波，通过所述最优滤波器后能使得同一个人脸图像的LBP特征更为相似，不同人脸图像的LBP特征变得更为不同。

下面分别以训练样本图像是同质人脸图像、异质人脸图像为例，来说明本发明滤波器设计的具体过程。

实施例1

假设输入训练样本图像为I，通过滤波器f后的图像是f(I)。一般地，所要求的滤波器f为线性滤波器，则滤波器的滤波过程可以表示成图像邻域像素的加权求和的过程。令权重向量为w，则像素点p滤波后的值可以表示为f(I)^P＝w^TI^P，这里，I^P并不是原始图像矩阵，I^P是训练样本图像I中像素点p所在的邻域拉成的列向量，即

其中d为邻域像素个数；由此可以看出，代表权重的列向量w，因此也就代表了滤波器f，w^T表示权重向量的转置，下同。

由于所考虑的特征是局部二元模式特征，其特征的抽取方式是通过比较当前像素点与相邻像素点的大小关系而得到的，因此在滤波器设计过程中，应当考虑这个大小关系的比对过程。考虑到LBP的采样方式，用df(I)代表滤波图像的像素差异向量(PDV)，有

$\mathrm{df}{\left(I\right)}^P=[f{\left(I\right)}^{p_1}-f{\left(I\right)}^p,f{\left(I\right)}^{p_2}-f{\left(I\right)}^p,...,f{\left(I\right)}^{p_d}-f{\left(I\right)}^p]---\left(1\right)$

其中，是像素点p_i滤波后的值，{p₁，p₂，...，p_d}是像素p的邻域像素，d是邻域像素个数，df(I)^P表示滤波后的图像在P处的像素差异向量PDV。本发明实施例所提出的滤波器设计学习的目的就是寻找合适的f，使得滤波之后，同一个人员图像的PDV尽量相似。

类似的，PDV向量可以表示为df(I)^P＝w^TdI^P。参考PDV的定义形式，容易看出，dI^P的每一列是像素p邻域像素点p_i相减然后拉成的列向量

其中

是像素点p_i的第j个邻域像素。在图4中展示了PDV的抽取过程示意图，图4中的阴影区域表示邻域像素。

本发明实施例中提出的最优滤波器设计准则采用Fisher判别准则，即使得来自同一个人的图像在滤波之后的PDV尽量相似，而来自不同人的图像在滤波后的PDV差异尽量大。

令

为来自第i个类的第j个样本图像中、像素点p的PDV向量，

为该图像的PDV集合，其中N为图像的像素点个数。类内协方差矩阵S_W为：

$S_W=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{C_i}{\mathrm{\Σ}}}\underset{p=1}{\overset{N}{\mathrm{\Σ}}}(\mathrm{df}{\left(I\right)}_{\mathrm{ij}}^p-\mathrm{df}{\left(m\right)}_i^p){(\mathrm{df}{\left(I\right)}_{\mathrm{ij}}^p-\mathrm{df}{\left(m\right)}_i^p)}^T;---\left(2\right)$

$=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{C_i}{\mathrm{\Σ}}}(\mathrm{df}{\left(I\right)}_{\mathrm{ij}}-\mathrm{df}{\left(m\right)}_i){(\mathrm{df}{\left(I\right)}_{\mathrm{ij}}-\mathrm{df}{\left(m\right)}_i)}^T$

类间协方差矩阵S_b为

$S_b=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{C}_i(\mathrm{df}{\left(I\right)}_i^p-\mathrm{df}{\left(m\right)}^p){(\mathrm{df}{\left(I\right)}_i^p-\mathrm{df}{\left(m\right)}^p)}^T;---\left(3\right)$

$=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{C}_i(\mathrm{df}{\left(m\right)}_i-\mathrm{df}\left(m\right)){(\mathrm{df}{\left(m\right)}_i-\mathrm{df}\left(m\right))}^T$

其中，N为单个训练样本图像的像素点个数，L是训练样本图像的总类别数目，Ci是第i类的图像数目，

是第i类中第p个PDV向量的均值，df(m)^p是所有图像第p个PDV向量的均值。

和df(m)＝[df(m)¹，df(m)²，...，df(m)^N]是将图像不同位置的PDV均值向量串联起来得到的。进一步的将线性滤波器的前提f(I)^P＝w^TI^P带入(2)、(3)可得

$S_W=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{C_i}{\mathrm{\Σ}}}{w}^T({\mathrm{dI}}_{\mathrm{ij}}-{\mathrm{dm}}_i){({\mathrm{dI}}_{\mathrm{ij}}-{\mathrm{dm}}_i)}^{T}w$

$=w^T\left(\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{C_i}{\mathrm{\Σ}}}({\mathrm{dI}}_{\mathrm{ij}}-{\mathrm{dm}}_i){({\mathrm{dI}}_{\mathrm{ij}}-{\mathrm{dm}}_i)}^T\right)w---\left(4\right)$

$=w^T{\hat{S}}_{W}w$

$S_b=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{C}_i{w}^T({\mathrm{dm}}_i-\mathrm{dm}){({\mathrm{dm}}_i-\mathrm{dm})}^{T}w$

$=w^T\left(\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{C}_i({\mathrm{dm}}_i-\mathrm{dm}){({\mathrm{dm}}_i-\mathrm{dm})}^T\right)w---\left(5\right)$

$=w^T{\hat{S}}_{b}w$

其中，dI_ij是从类i的第j张图像中抽取的PDV向量，

dm_i是第i类的PDV均值，dm是全体图像的PDV均值。

分别表示未滤波前图像的类内协方差矩阵、类间协方差矩阵。

根据Fisher判别准则，trace(S_b)与trace(S_w)的比值越大，则滤波器f的鉴别能力越大。最大化trace(S_b)与trace(S_w)之间的比值可以转化为如下形式的广义特征值分解问题

${\hat{S}}_{b}w=\mathrm{\λ}{\hat{S}}_{W}w---\left(6\right)$

其中最大的特征值对应的特征向量为我们所需的权重向量w，通过权重向量w能得到最优滤波器，trace()表示求取矩阵的迹。

实施例2

在此时实施例中，本发明针对异质人脸识别进行了扩展，其流程如图5所示。在异质人脸识别中，我们的目的是要区分两种不同类型的人脸图像（例如，可见光图像和近红外图像）是否来自于同一个人。异质人脸识别在实际应用中具有其重要意义，是传统人脸识别方式的有益补充。

在异质人脸识别里面，滤波器学习的目的是使得来自同一个人的异质人脸图像差异性尽量小，而来自不同人的图像之间的差异尽量大。

假设I^V和I^M为来自两个不同模态的人脸图像（例如可见光和近红外），它们滤波后的图像为f(I^V)和f(I^M)。假设

是来自第j类的第i个样本对的第p个PDV向量；每个模态人脸图像计算PDV向量的过程与同质人脸计算提取过程一致，此处不再详述，如步骤501、步骤502。同样应用Fisher判别准则，使得类间差异矩阵S_b与类内差异矩阵S_w的比值尽量大，即trace(S_b)/trace(S_w)最大。

考虑到在异质人脸识别中有两种模态的图像，我们需要为类内、类间矩阵定义模态。本发明实施例中将两种模态包括V模态、M模态，V、M模态之间的类内类间矩阵可以表示为

$S_W^{\mathrm{VM}}=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{C_i}{\mathrm{\Σ}}}\underset{p=1}{\overset{N}{\mathrm{\Σ}}}(\mathrm{df}{\left(I^V\right)}_{\mathrm{ij}}^p-\mathrm{df}{\left(m^M\right)}_i^p){(\mathrm{df}{\left(I^V\right)}_{\mathrm{ij}}^p-\mathrm{df}{\left(m^M\right)}_i^p)}^T---\left(7\right)$

$=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{C_i}{\mathrm{\Σ}}}(\mathrm{df}{\left(I^V\right)}_{\mathrm{ij}}-\mathrm{df}{\left(m^M\right)}_i){(\mathrm{df}{\left(I^V\right)}_{\mathrm{ij}}-\mathrm{df}{\left(m^M\right)}_i)}^T$

$S_b^{\mathrm{VM}}=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{C}_i(\mathrm{df}{\left(m^V\right)}_i^p-f{\left(m^M\right)}^p){(\mathrm{df}{\left(m^V\right)}_i^p-f{\left(m^M\right)}^p)}^T---\left(8\right)$

$=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{C}_i(\mathrm{df}{\left(m^V\right)}_i-f\left(m^M\right)){(\mathrm{df}{\left(m^V\right)}_i-f\left(m^M\right))}^T$

其中，

表示V模态、M模态间的类间协方差矩阵，df(I^V)_ij,df(I^M)_ij,df(m^V)_i,df(m^M)_i,df(m^V),df(m^M)与实施例1的含义相一致，此处不再一一列举。假设为线性滤波器，滤波后的图像为f(I^VP)＝w^vTI^VP和f(I^MP)＝w^MTI^MP，其中I^VP为原始的V模态图像的P像素的邻域，同样的I^MP为与I^VP配对的另一个模态M的图像的P像素的邻域。令权重向量为w＝[w^V;w^M]，将其带入（7）、（8）式，可得

$S_W^{\mathrm{VM}}=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j=1}{\overset{C_i}{\mathrm{\Σ}}}{w}^T(\mathrm{df}{\left(I^V\right)}_{\mathrm{ij}}-\mathrm{df}{\left(m^M\right)}_i){(\mathrm{df}{\left(I^V\right)}_{\mathrm{ij}}-\mathrm{df}{\left(m^M\right)}_i)}^{T}w=w^T{S}_W^{\widetilde{\mathrm{VM}}}w---\left(9\right)$

$S_b^{\mathrm{VM}}=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{C}_i{w}^T(\mathrm{df}{\left(m^V\right)}_i-f\left(m^M\right)){(\mathrm{df}{\left(m^V\right)}_i-f\left(m^M\right))}^{T}w=w^T{S}_b^{\widetilde{\mathrm{VM}}}w---\left(10\right)$

同样的，可以依次求得每个模态的、两个模态之间的类内、类间协方差矩阵

其中

为V模态的类内协方差矩阵，其余符号所表示的含义类同。在此基础上，全局的类间协方差矩阵S_b和类内协方差矩阵S_w可以定义为

$S_W=S_W^{\mathrm{VV}}+S_W^{\mathrm{MM}}+S_W^{\mathrm{VM}}+S_W^{\mathrm{MV}}---\left(11\right)$

$S_b=S_b^{\mathrm{VV}}+S_b^{\mathrm{MM}}+S_b^{\mathrm{VM}}+S_b^{\mathrm{MV}}$

经过简单的矩阵运算，可得

分别表示未滤波前的全局类间协方差矩阵、全局类内协方差矩阵。通过求解广义特征值问题可得最优的权重向量w，将其分割成两个模态的滤波器w^V,w^M即可，这构成了最后的步骤503。

在上面的实施例中，都是对整个人脸图像应用同一种滤波器进行滤波。然而人脸的不同区域对最终识别性能的贡献不同，例如，通常认为眼睛部位识别性能要比嘴部更强。因此在全局人脸上求解得到的滤波器很有可能损失了人脸局部区域的判别信息。此处，还可以基于人脸局部区域得到最优滤波器，其思想是：将人脸图像分成若干个小的矩形块，例如，100×100的人脸图像分成5×5的小块，每块大小为20×20，互不重叠。将每个小块当作单独的图像，利用上面实施例的计算过程求得对于每个小块最优的滤波器。在识别时，同样的将人脸划分为小块，每个小块应用不同的滤波器进行滤波。

在求得上述最优滤波器的权重向量w后，根据相应的关系能得到最优滤波器。当得到最优滤波器后，在工作时，首先由同质图像按上述滤波器学习过程学到最优的权重向量w，然后对输入的带检测图像进行滤波。异质图像也是同样的过程。然后，利用扩展的LBP描述子抽取人脸的局部特征。最后是识别过程。识别的本质目的是判断两张图像是否是同一个人（不论是同质人脸识别还是异质人脸识别）。如果是传统的人脸识别，则利用直方图交距离来计算图像之间的相似度。如果是异质人脸识别，则由线性谱回归算法求得最具判别力的特征表示之后再用预先距离进行计算相似。

本发明采用Fisher判别准则，设计图像滤波器后使得类内样本（同一个人的不同人脸图像）和类间样本（不同人的不同人脸图像）之间的差异最大。本发明还将这一思想扩展到异质人脸图像识别中，通过对不同模态下的人脸图像分别设计不同的滤波器，使得图像经过滤波之后不仅消除了不同模态之间的差异性，同时也增大了类内和类间的人脸样本差异，从而简化异质人脸识别难度，提高异质人脸图像识别性能。

Claims (1)

1.一种增强类局部二元模式特征人脸识别性能的滤波器设计方法，其特征是，所述滤波器设计方法包括如下步骤： 

（a）、输入多个训练样本图像，并提取所述输入训练样本图像的像素差分向量； 

（b）、根据上述差分向量，计算得到训练样本图像的类内协方差矩阵S_ω、类间协方差矩阵S_b； 

（c）、计算得到上述类内协方差矩阵S_ω的trace(S_ω)、类间协方差矩阵S_b的trace(S_b)，并计算trace(S_b)与trace(S_ω)间的比值，利用Fisher判别准则得到所需的最优滤波器； 

所述步骤（a）中，输入图像为同质人脸图像时，像素差分向量为： 

其中，f(I)^pi是像素点p_i滤波后的值，{p₁,p₂,...,p_d}是像素p的邻域像素，d是邻域像素个数，df(I)^P表示滤波后的图像在P处的像素差异向量PDV； 

所述步骤（a）中，输入多个训练样本图像包括两种模态的异质人脸图像时，分别对两种模态的异质人脸图像进行提取像素差分向量； 

所述步骤（b）中，类内协方差矩阵S_W为： 

类间协方差矩阵S_b为 

其中，N为单个训练样本图像的像素点个数，L是训练样本图像的总类别数目，C_i是第i类的图像数目，

是第i类中第p个PDV向量的均值，df(m)^p是所有图像第p个PDV向量的均值; 

所述（b）中，类内协方差矩阵S_W为 

其中，

分别表示模态V的类内协方差矩阵、模态M的类内协方差矩阵、模态M与模态V间的类内协方差矩阵及模态V与模态M间类内协方差矩阵； 

类间协方差矩阵S_b为 

其中，

分别表示模态V的类间协方差矩阵、模态M的类间协方差矩阵、模态V与模态M间的类间协方差矩阵及模态M与模态V间的类间协方差矩阵；模态V与模态M为异质人脸图像的两种模态; 

所述模态V与模态M之间的类内协方差矩阵为： 

所述模态V与模态M之间的类间协方差矩阵为： 

Images