CN103136516B - 可见光与近红外信息融合的人脸识别方法及系统 - Google Patents

Abstract

本发明提供了一种可见光与近红外信息融合的人脸识别方法及系统，所述方法包括：提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征，对第一初始特征进行选择与融合以生成人脸图像的特征集；提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征，根据所述特征集和第二初始特征生成第二调整特征；提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征，根据所述特征集和第三初始特征生成第三调整特征；计算所述第三调整特征与每个第二调整特征的距离，将与所述第三调整特征距离最近的第二调整特征所属的人判定为与待比较人员为同一人，能够有效提高人脸识别性能。

Description

可见光与近红外信息融合的人脸识别方法及系统

技术领域

本发明涉及人脸识别领域，特别涉及一种可见光与近红外信息融合的人脸识别方法。

背景技术

人脸识别技术是利用计算机获取人脸图像并进行分析预处理，然后以特定方法提取出能有效表示人脸图像的特征，最后通过机器学习的方法对人脸图像进行身份鉴定。人脸识别广泛应用于人机交互系统、安全验证系统、驾照和护照的验证和罪犯身份识别等方面。最近几年随着信息以及网络技术的发展，人脸识别已经成为模式识别领域最受关注的问题之一。

当人脸图像处于友好的环境时，目前的人脸识别方法可以取得比较准确的结果，而当包括姿态、表情、环境，尤其是光照条件变化时，人脸识别方法的性能则会受到极大的影响。许多研究人员开始探索利用其他光谱成像来解决人脸识别的光照问题，低波长的紫外部分是对人体有害的，因此，研究集中在红外光谱区。热红外人脸识别对环境光照有较强的适应能力，但是热红外成像很容易受到环境温度变化的影响。近红外线（NIR）成像在抑制环境光照影响的同时也不易受到环境温度的影响，因此成为了一种理想的人脸图像成像光谱。

虽然近红外图像对光照强弱变化有较好的鲁棒性，但仍然存在着许多缺陷，例如成像时会损失一些纹理特征，使得对表情以及姿态的变化不能很好地适应。可见光图像虽然对光照变化敏感，但在这几个方面却有较强的鲁棒性。因此可以看出，红外图像与可见光图像具有互补性，将两者融合进行识别会提高识别性能。

发明内容

本发明的目的在于提供一种可见光与近红外信息融合的人脸识别方法，能够有效提高人脸识别性能。

为解决上述问题，本发明提供一种可见光与近红外信息融合的人脸识别方法，包括：

确定作为人脸图像的特征集训练来源的样本人员库，采集所述样本人员库中每个人的在至少两种人脸状态下的各一张可见光人脸图像和一张近红外人脸图像，同一个人同一人脸状态下的一张可见光人脸图像和一张近红外人脸图像为一组图像，对样本人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征，对样本人员库中所有人的各组可见光人脸图像和近红外人脸图像的第一初始特征进行选择与融合以生成人脸图像的特征集；

确定与待比较人员进行比较的模板人员库，采集所述模板人员库中每个人的在某种人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对模板人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征，根据所述特征集和第二初始特征生成模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二调整特征；

采集待比较人员在某个人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对待比较人员的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征，根据所述特征集和第三初始特征生成待比较人员的每组可见光人脸图像和近红外人脸图像的第三调整特征；

计算所述第三调整特征与每个第二调整特征的距离，将与所述第三调整特征距离最近的第二调整特征所属的人判定为与待比较人员为同一人。

进一步的，在上述方法中，提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征的步骤包括：

将样本人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述样本人员库中每个人的可见光特征用公式H_v＝[h_v1h_v2…h_vm]表示，样本人员库中每个人的近红外特征用公式H_w＝[h_w1h_w2…h_wm]表示，H_v表示样本人员库中每个人的m个特征块或特征点的可见光特征，H_w表示样本人员库中每个人的m个特征块或特征点的近红外特征，h_v1h_v2…h_vm分别代表某个特征块或特征点的可见光特征分量，h_w1h_w2…h_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；

将样本人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第一初始特征H，所述第一初始特征用公式H＝[H_vH_w]表示。

进一步的，在上述方法中，对样本人员库中所有人的各组可见光人脸图像和近红外人脸图像的第一初始特征进行选择与融合以生成人脸图像的特征集的步骤包括：

将样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征之间的距离向量作为正样本，将样本人员库中不同人的两组图像的第一初始特征之间的距离向量作为负样本，每个距离向量根据公式 $\begin{array}{c}{X}_{i1}=f(H,\tilde{H})\\ ={\left[\begin{array}{cccccccc}f(h_{v1},{\tilde{h}}_{v1})& f(h_{v2},{\tilde{h}}_{v2})& ...& f(h_{\mathrm{vm}},{\tilde{h}}_{\mathrm{vm}})& f(h_{w1},{\tilde{h}}_{w1})& f(h_{w2},{\tilde{h}}_{w2})& ...& f(h_{\mathrm{wm}},{\tilde{h}}_{\mathrm{wm}})\end{array}\right]}^T\end{array}$ 获取，其中，H和分别表示样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征或样本人员库中不同人的两组图像的第一初始特征，X_i1表示某个正样本或负样本，i1＝1,…,n；

生成n个正样本和n个负样本的距离向量矩阵 $A={\left[\begin{array}{cccccccc}{X_1}^{+}& {X_2}^{+}& ...& {X_n}^{+}& X_1^{-}& X_2^{-}& ...& X_n^{-}\end{array}\right]}^T,$ 其中，X₁ ⁺,X₂ ⁺,…,X_n ⁺分别表示某个正样本，分别表示某个负样本，n<m；

将所述距离向量矩阵A按列进行归一化以获取归一化后的距离向量矩阵A′；

根据所述归一化后的距离向量矩阵A′生成样本标号矩阵Y，所述样本标号矩阵Y的行列数与距离向量矩阵A的行列数一致，若所述归一化后的距离向量矩阵A′的某行为正样本，则所述样本标号矩阵Y的对应行的数值为0，若归一化后的距离向量矩阵A′的某行为负样本，则所述样本标号矩阵Y的对应行的数值为1；

根据归一化后的距离向量矩阵A′与样本标号矩阵Y的线性关系Y＝A′β，采用优化方程获取β作为评价指标向量，其中，β＝[β_v1β_v2…β_vmβ_w1β_w2…β_wm]^T，β_v1β_v2…β_vm分别表示某个特征块或特征点的可见光特征的评价指标分量，β_w1β_w2…β_wm分别表示某个特征块或特征点的近红外特征的评价指标分量，所述优化方程通过lasso的方法得到，||·||₂表示欧几里得范数，||·||₁表示1-范数，λ表示正则化系数，用于调整β的稀疏程度，λ越大，β中值为零的项的数目越多，λ||β||₁为稀疏正则项；

根据公式 ${\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{i2}=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_{i2}& \mathrm{if}{\mathrm{\&beta;}}_{i2}>T\\ 0& \mathrm{if}{\mathrm{\&beta;}}_{i2}<T\end{array}\right.,$ 对β作处理以获取 $\stackrel{\&OverBar;}{\mathrm{\&beta;}}={\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T,$ 其中，表示所述特征集，分别表示某个特征块或特征点的可见光特征的特征集分量，分别表示某个特征块或特征点的近红外特征的特征集分量，T用于调整人评价指标向量的维数，T越大，选择出的代表特征块或特征点的评价指标分量越少，表征人脸图像的评价指标向量的维数越小，i2＝v1,v2,…,vm或w1,w2,…,wm。

进一步的，在上述方法中，所述特征集包括人脸图像的特征块或特征点的位置以及权重。

进一步的，在上述方法中，提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征的步骤包括：

将模板人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述模板人员库中每个人的可见光特征用公式J_v＝[j_v1j_v2…j_vm]表示，模板人员库中每个人的近红外特征用公式J_w＝[j_w1j_w2…j_wm]表示，J_v表示模板人员库中每个人的m个特征块或特征点的可见光特征，J_w表示模板人员库中每个人的m个特征块或特征点的近红外特征，j_v1j_v2…j_vm分别代表某个特征块或特征点的可见光特征分量，j_w1j_w2…j_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；

将模板人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第二初始特征，所述第二初始特征用公式J＝[J_vJ_w]表示，J表示所述第二初始特征。

进一步的，在上述方法中，根据所述特征集和第二初始特征生成模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二调整特征的步骤中：

根据下述公式获取所述第二调整特征，

$G_1=J\stackrel{\&OverBar;}{\mathrm{\&beta;}}$

$=\left[\begin{array}{cccccccc}{j}_{v1}& j_{v2}& ...& j_{\mathrm{vm}}& j_{w1}& j_{w2}& ...& j_{\mathrm{wm}}\end{array}\right]{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T$

$=\left[\begin{array}{cccccccc}{j}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& j_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& j_{\mathrm{vm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& j_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& j_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& j_{\mathrm{wm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]$

其中，G₁表示所述第二调整特征。

进一步的，在上述方法中，提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征的步骤包括：

将待比较人员的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取待比较人员的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述可见光特征用公式K_v＝[k_v1k_v2…k_vm]表示，红外特征用公式K_w＝[k_w1k_w2…k_wm]表示，K_v表示待比较人员的m个特征块或特征点的可见光特征，K_w表示待比较人员的m个特征块或特征点的近红外特征，k_v1k_v2…k_vm分别代表某个特征块或特征点的可见光特征分量，k_w1k_w2…k_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；

将待比较人员的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第三初始特征，所述第三初始特征用公式K＝[K_vK_w]表示，K表示所述第三初始特征。

进一步的，在上述方法中，根据所述特征集和第三初始特征生成待比较人员的每组可见光人脸图像和近红外人脸图像的第三调整特征的步骤中：

根据下述公式获取所述第三调整特征，

$G_2=K\stackrel{\&OverBar;}{\mathrm{\&beta;}}$

$=\left[\begin{array}{cccccccc}{k}_{v1}& k_{v2}& ...& k_{\mathrm{vm}}& k_{w1}& k_{w2}& ...& k_{\mathrm{wm}}\end{array}\right]{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T$

$=\left[\begin{array}{cccccccc}{k}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& k_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& k_{\mathrm{vm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& k_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& k_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& k_{\mathrm{wm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]$

其中，G₂表示所述第三调整特征。

根据本发明的另一面，提供一种可见光与近红外信息融合的人脸识别系统，包括：

特征集模块，用于确定作为人脸图像的特征集训练来源的样本人员库，采集所述样本人员库中每个人的在至少两种人脸状态下的各一张可见光人脸图像和一张近红外人脸图像，同一个人同一人脸状态下的一张可见光人脸图像和一张近红外人脸图像为一组图像，对样本人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征，对样本人员库中所有人的各组可见光人脸图像和近红外人脸图像的第一初始特征进行选择与融合以生成人脸图像的特征集；

模板特征模块，用于确定与待比较人员进行比较的模板人员库，采集所述模板人员库中每个人的在某种人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对模板人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征，根据所述特征集和第二初始特征生成模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二调整特征；

待比较特征模块，用于采集待比较人员在某个人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对待比较人员的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征，根据所述特征集和第三初始特征生成待比较人员的每组可见光人脸图像和近红外人脸图像的第三调整特征；

比较模块，用于计算所述第三调整特征与每个第二调整特征的距离，将与所述第三调整特征距离最近的第二调整特征所属的人判定为与待比较人员为同一人。

进一步的，在上述系统中，所述特征集模块，用于将样本人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述样本人员库中每个人的可见光特征用公式H_v＝[h_v1h_v2…h_vm]表示，样本人员库中每个人的近红外特征用公式H_w＝[h_w1h_w2…h_wm]表示，H_v表示样本人员库中每个人的m个特征块或特征点的可见光特征，H_w表示样本人员库中每个人的m个特征块或特征点的近红外特征，h_v1h_v2…h_vm分别代表某个特征块或特征点的可见光特征分量，h_w1h_w2…h_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；将样本人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第一初始特征H，所述第一初始特征用公式H＝[H_vH_w]表示。

进一步的，在上述系统中，所述特征集模块，用于将样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征之间的距离向量作为正样本，将样本人员库中不同人的两组图像的第一初始特征之间的距离向量作为负样本，每个距离向量根据公式 $\begin{array}{c}{X}_{i1}=f(H,\tilde{H})\\ ={\left[\begin{array}{cccccccc}f(h_{v1},{\tilde{h}}_{v1})& f(h_{v2},{\tilde{h}}_{v2})& ...& f(h_{\mathrm{vm}},{\tilde{h}}_{\mathrm{vm}})& f(h_{w1},{\tilde{h}}_{w1})& f(h_{w2},{\tilde{h}}_{w2})& ...& f(h_{\mathrm{wm}},{\tilde{h}}_{\mathrm{wm}})\end{array}\right]}^T\end{array}$ 获取，其中，H和分别表示样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征或样本人员库中不同人的两组图像的第一初始特征，X_i1表示某个正样本或负样本，i1＝1,…,n；生成n个正样本和n个负样本的距离向量矩阵 $A={\left[\begin{array}{cccccccc}{X_1}^{+}& {X_2}^{+}& ...& {X_n}^{+}& X_1^{-}& X_2^{-}& ...& X_n^{-}\end{array}\right]}^T,$ 其中，X₁ ⁺,X₂ ⁺,…,X_n ⁺分别表示某个正样本，分别表示某个负样本，n<m；将所述距离向量矩阵A按列进行归一化以获取归一化后的距离向量矩阵A′；根据所述归一化后的距离向量矩阵A′生成样本标号矩阵Y，所述样本标号矩阵Y的行列数与距离向量矩阵A的行列数一致，若所述归一化后的距离向量矩阵A′的某行为正样本，则所述样本标号矩阵Y的对应行的数值为0，若归一化后的距离向量矩阵A′的某行为负样本，则所述样本标号矩阵Y的对应行的数值为1；根据归一化后的距离向量矩阵A′与样本标号矩阵Y的线性关系Y＝A′β，采用优化方程获取β作为评价指标向量其中，β＝[β_v1β_v2…β_vmβ_w1β_w2…β_wm]^T，β_v1β_v2…β_vm分别表示某个特征块或特征点的可见光特征的评价指标分量，β_w1β_w2…β_wm分别表示某个特征块或特征点的近红外特征的评价指标分量，所述优化方程通过lasso的方法得到，||·||₂表示欧几里得范数，||·||₁表示1-范数，λ表示正则化系数，用于调整β的稀疏程度，λ越大，β中值为零的项的数目越多，λ||·||₁为稀疏正则项；根据公式 ${\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{i2}=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_{i2}& \mathrm{if}{\mathrm{\&beta;}}_{i2}>T\\ 0& \mathrm{if}{\mathrm{\&beta;}}_{i2}<T\end{array}\right.,$ 对β作处理以获取 $\stackrel{\&OverBar;}{\mathrm{\&beta;}}={\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T,$ 其中，表示所述特征集，分别表示某个特征块或特征点的可见光特征的特征集分量，分别表示某个特征块或特征点的近红外特征的特征集分量，T用于调整人评价指标向量的维数，T越大，选择出的代表特征块或特征点的评价指标分量越少，表征人脸图像的评价指标向量的维数越小，i2＝v1,v2,…,vm或w1,w2,…,wm。

进一步的，在上述系统中，所述模板特征模块，用于将模板人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述模板人员库中每个人的可见光特征用公式J_v＝[j_v1j_v2…j_vm]表示，模板人员库中每个人的近红外特征用公式J_w＝[j_w1j_w2…j_wm]表示，J_v表示模板人员库中每个人的m个特征块或特征点的可见光特征，J_w表示模板人员库中每个人的m个特征块或特征点的近红外特征，j_v1j_v2…j_vm分别代表某个特征块或特征点的可见光特征分量，j_w1j_w2…j_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；将模板人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第二初始特征，所述第二初始特征用公式J＝[J_vJ_w]表示，J表示所述第二初始特征。

进一步的，在上述系统中，所述模板特征模块，用于根据下述公式获取所述第二调整特征，

$G_1=J\stackrel{\&OverBar;}{\mathrm{\&beta;}}$

$=\left[\begin{array}{cccccccc}{j}_{v1}& j_{v2}& ...& j_{\mathrm{vm}}& j_{w1}& j_{w2}& ...& j_{\mathrm{wm}}\end{array}\right]{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T$

$=\left[\begin{array}{cccccccc}{j}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& j_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& j_{\mathrm{vm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& j_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& j_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& j_{\mathrm{wm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]$

其中，G₁表示所述第二调整特征。

进一步的，在上述系统中，所述待比较特征模块，用于将待比较人员的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取待比较人员的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述可见光特征用公式K_v＝[k_v1k_v2…k_vm]表示，红外特征用公式K_w＝[k_w1k_w2…k_wm]表示，K_v表示待比较人员的m个特征块或特征点的可见光特征，K_w表示待比较人员的m个特征块或特征点的近红外特征，k_v1k_v2…k_vm分别代表某个特征块或特征点的可见光特征分量，k_w1k_w2…k_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；将待比较人员的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第三初始特征，所述第三初始特征用公式K＝[K_vK_w]表示，K表示所述第三初始特征。

进一步的，在上述系统中，根据下述公式获取所述第三调整特征，

$G_2=K\stackrel{\&OverBar;}{\mathrm{\&beta;}}$

$=\left[\begin{array}{cccccccc}{k}_{v1}& k_{v2}& ...& k_{\mathrm{vm}}& k_{w1}& k_{w2}& ...& k_{\mathrm{wm}}\end{array}\right]{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T$

$=\left[\begin{array}{cccccccc}{k}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& k_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& k_{\mathrm{vm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& k_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& k_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& k_{\mathrm{wm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]$

其中，G₂表示所述第三调整特征。

与现有技术相比，本发明通过确定作为人脸图像的特征集训练来源的样本人员库，采集所述样本人员库中每个人的在至少两种人脸状态下的各一张可见光人脸图像和一张近红外人脸图像，同一个人同一人脸状态下的一张可见光人脸图像和一张近红外人脸图像为一组图像，对样本人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征，对样本人员库中所有人的各组可见光人脸图像和近红外人脸图像的第一初始特征进行选择与融合以生成人脸图像的特征集；确定与待比较人员进行比较的模板人员库，采集所述模板人员库中每个人的在某种人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对模板人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征，根据所述特征集和第二初始特征生成模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二调整特征；采集待比较人员在某个人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对待比较人员的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征，根据所述特征集和第三初始特征生成待比较人员的每组可见光人脸图像和近红外人脸图像的第三调整特征；计算所述第三调整特征与每个第二调整特征的距离，将与所述第三调整特征距离最近的第二调整特征所属的人判定为与待比较人员为同一人，能够有效提高人脸识别性能。

另外，通过将样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征之间的距离向量作为正样本，将样本人员库中不同人的两组图像的第一初始特征之间的距离向量作为负样本，生成n个正样本和n个负样本的距离向量矩阵A，将所述距离向量矩阵A按列进行归一化以获取归一化后的距离向量矩阵A′，根据所述归一化后的距离向量矩阵A′生成样本标号矩阵Y，根据归一化后的距离向量矩阵A′与样本标号矩阵Y的线性关系Y＝A′β，以及优化方程获取β作为评价指标向量对β作处理以获取特征集从而将人脸进行稀疏表示，采用信号处理中的压缩采样技术，不再要求将人脸图像尽量紧密地表示成一个低维空间，而是将其投影成一个非常稀疏的高维向量，并通过1范数最小化的方法，几乎无误差地恢复该高维向量，且在克服人脸识别时光照、表情、姿态变化等方面具有很强的鲁棒性，因而在进行身份查询和认证等的人脸识别工作中获得较好的识别结果。

附图说明

图1是本发明实施例一的可见光与近红外信息融合的人脸识别方法的流程图；

图2是本发明实施例一的第一初始特征获取流程图；

图3是本发明实施例一的特征集获取流程图；

图4是本发明实施例一的归一化后的距离向量矩阵A’与样本标号矩阵Y的线性关系示意图；

图5是本发明实施例一的第二初始特征获取流程图；

图6是本发明实施例一的第三初始特征获取流程图；

图7是本发明实施例二的可见光与近红外信息融合的人脸识别系统的模块示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1至6所示，本发明提供一种可见光与近红外信息融合的人脸识别方法，包括：

步骤S1，确定作为人脸图像的特征集训练来源的样本人员库，采集所述样本人员库中每个人的在至少两种人脸状态下的各一张可见光人脸图像和一张近红外人脸图像，同一个人同一人脸状态下的一张可见光人脸图像和一张近红外人脸图像为一组图像。具体的，可搭建采集可见光和近红外的原始图像的软件和硬件设备，硬件设备包括可见光摄像头与近红外摄像头，通过所述软件和硬件设备采集原始图像后，将所述样本人员库中每个人的可见光人脸图像和近红外人脸图像从原始图像中切割出来。采集到的可见光与近红外人脸图像需为正脸图像，同时为了保证训练模板的多样性，需要在不同的条件下采集模板，每个人至少在不同人脸状态下采集两次可见光人脸图像和近红外人脸图像，如不同的光照以及表情变化条件下的可见光人脸图像和近红外人脸图像。在人脸状态不变的情况下，采集的一张可见光人脸图像和一张近红外人脸图像作为一组图像，为了保证采集每组可见光人脸图像与近红外人脸图像的同时性，可将可见光摄像头与近红外摄像头配置为同轴，且距离相近，可见光摄像头与近红外摄像头采集的时间间隔也应该尽量小，但要保证可见光摄像头与近红外摄像头相互之间不被影响。

步骤S2，对样本人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理。具体的，可通过人眼定位等措施，对可见光人脸图像和近红外人脸图像进行归一化，之后覆盖掩膜用于去除背景，同时为了去除光照不均的影响，加入Gamma校正，HOG等光照预处理方法。

步骤S3，提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征。

优选的，如图2的所示，步骤S3包括：

步骤S31，将样本人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP（LocalBinaryPattern，局部二值模式）、Gabor特征，所述全局特征包括PCA（PrincipalComponentAnalysis，主成分分析）、LDA（LinearDiscriminantAnalysis，线性鉴别分析）特征，所述样本人员库中每个人的可见光特征用公式H_v＝[h_v1h_v2…h_vm]表示，样本人员库中每个人的近红外特征用公式H_w＝[h_w1h_w2…h_wm]表示，H_v表示样本人员库中每个人的m个特征块或特征点的可见光特征，H_w表示样本人员库中每个人的m个特征块或特征点的近红外特征，h_v1h_v2…h_vm分别代表某个特征块或特征点的可见光特征分量，h_w1h_w2…h_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数，具体的，可将每组图像中的可见光人脸图像和近红外人脸图像分别划分为s×s＝m个网格，每个网格代表一个特征块或特征点，每个可见光人脸图像的特征块或特征点的可见光特征分量分别表示为h_vi=h_w1,h_w2,…,h_wm，每个近红外人脸图像的特征块或特征点的近红外特征分量表示为h_wi=h_w1,h_w2,…,h_wm，其中，i＝0,1,…,s×s；

步骤S32，将样本人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第一初始特征H，所述第一初始特征用公式H＝[H_vH_w]表示。具体的，步骤S31和步骤S32将某个人的一组图像中的可见光人脸图像与近红外人脸图像分别提取m个特征块或特征点的可见光特征和近红外特征，表示为H_v与H_w，并将两个特征拼合为一个向量，表示为H＝[H_vH_w]。

步骤S4，对样本人员库中所有人的各组可见光人脸图像和近红外人脸图像的第一初始特征进行选择与融合以生成人脸图像的特征集。

优选的，步骤S4中可将提取的样本人员库中所有人的可见光人脸图像和近红外人脸图像的第一初始特征利用稀疏正则化的方法进行特征选择与融合，即通过稀疏正则化的方法选择出具有分类意义的特征区域或特征点，并按照分类效果赋予权值，同时将可见光人脸特征与近红外人脸特征进行融合，得到包括特征块或点的位置以及权重的特征集，如图3所示，步骤S4具体可包括：

步骤S41，将样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征之间的距离向量作为正样本，将样本人员库中不同人的两组图像的第一初始特征之间的距离向量作为负样本，每个距离向量根据公式 $\begin{array}{c}{X}_{i1}=f(H,\tilde{H})\\ ={\left[\begin{array}{cccccccc}f(h_{v1},{\tilde{h}}_{v1})& f(h_{v2},{\tilde{h}}_{v2})& ...& f(h_{\mathrm{vm}},{\tilde{h}}_{\mathrm{vm}})& f(h_{w1},{\tilde{h}}_{w1})& f(h_{w2},{\tilde{h}}_{w2})& ...& f(h_{\mathrm{wm}},{\tilde{h}}_{\mathrm{wm}})\end{array}\right]}^T\end{array}$ 获取，其中，H和分别表示样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征或样本人员库中不同人的两组图像的第一初始特征，X_i1表示某个正样本或负样本，i1＝1,…,n，f()代表一函数；

步骤S42，生成n个正样本和n个负样本的距离向量矩阵 $A={\left[\begin{array}{cccccccc}{X_1}^{+}& {X_2}^{+}& ...& {X_n}^{+}& X_1^{-}& X_2^{-}& ...& X_n^{-}\end{array}\right]}^T,$ 其中，X₁ ⁺X₂ ⁺…X_n ⁺分别表示某个正样本，分别表示某个负样本，n<m，具体的，为了保证正样本与负样本数量的均衡，每次从负样本中随机抽取与正样本相同数量的样本作为本次的训练样本，随机若干次后，可将每次训练得到的β值平均作为最终β值；

步骤S43，将所述距离向量矩阵A按列进行归一化以获取归一化后的距离向量矩阵A′；

步骤S44，根据所述归一化后的距离向量矩阵A′生成样本标号矩阵Y，所述样本标号矩阵Y的行列数与距离向量矩阵A的行列数一致，若所述归一化后的距离向量矩阵A′的某行为正样本，则所述样本标号矩阵Y的对应行的数值为0，若归一化后的距离向量矩阵A′的某行为负样本，则所述样本标号矩阵Y的对应行的数值为1，例如Y＝[00…011…1]^T；

步骤S45，根据归一化后的距离向量矩阵A′与样本标号矩阵Y的线性关系Y＝A′β，采用优化方程获取β作为评价指标向量，其中，β＝[β_v1β_v2…β_vmβ_w1β_w2…β_wm]^T，β_v1β_v2…β_vm分别表示某个特征块或特征点的可见光特征的评价指标分量，β_w1β_w2…β_wm分别表示某个特征块或特征点的近红外特征的评价指标分量，所述优化方程通过lasso的方法得到，||·||₂表示欧几里得范数，||·||₁表示1-范数，λ表示正则化系数，用于调整β的稀疏程度，λ越大，β中值为零的项的数目越多，λ||β||₁为稀疏正则项，具体的，如图4所示，归一化后的距离向量矩阵A′与样本标号矩阵Y的存在着线性关系Y＝A′β，由于特征块或特征点的个数m大于正样本和负样本的个数n，致使求得到的β不唯一，所以，采用上述优化方程，加入稀疏正则项，得到的唯一解β；

步骤S46，根据公式 ${\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{i2}=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_{i2}& \mathrm{if}{\mathrm{\&beta;}}_{i2}>T\\ 0& \mathrm{if}{\mathrm{\&beta;}}_{i2}<T\end{array}\right.,$ 对β作处理以获取 $\stackrel{\&OverBar;}{\mathrm{\&beta;}}={\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T,$ 其中，表示所述特征集，分别表示某个特征块或特征点的可见光特征的特征集分量，分别表示某个特征块或特征点的近红外特征的特征集分量，T用于调整人评价指标向量的维数，T越大，选择出的代表特征块或特征点的评价指标分量越少，表征人脸图像的评价指标向量的维数越小，，反之亦然，i2＝v1,v2,…,vm或w1,w2,…,wm。具体的，所述特征集包括人脸图像的特征块或特征点的位置以及权重，由于β为评价指标向量，则其元素β_i2的值表示了其对应特征块或特征点在分类中的重要程度，则若β_i2为负，或者足够小就意味着该特征块在分类中的作用可以忽略，因此对β做上述处理以获取

步骤S5，确定与待比较人员进行比较的模板人员库，采集所述模板人员库中每个人的在某种人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像。具体的，为了提供给后续步骤与待比较人员进行比较的人脸图像，确定与待比较人员进行比较的模板人员库，采集所述模板人员库中每个人的在某种人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，其过程与步骤S1的流程相似。可以根据需要采集所述模板人员库中每个人的在多种人脸状态下的多组图像。

步骤S6，对模板人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理。具体的，步骤S6与步骤S2的流程相似。

步骤S7，提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征。

优选的，如图5所示，步骤S7包括：

步骤S71，将模板人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述模板人员库中每个人的可见光特征用公式J_v＝[j_v1j_v2…j_vm]表示，模板人员库中每个人的近红外特征用公式J_w＝[j_w1j_w2…j_wm]表示，J_v表示模板人员库中每个人的m个特征块或特征点的可见光特征，J_w表示模板人员库中每个人的m个特征块或特征点的近红外特征，j_v1j_v2…j_vm分别代表某个特征块或特征点的可见光特征分量，j_w1j_w2…j_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；

步骤S72，将模板人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第二初始特征，所述第二初始特征用公式J＝[J_vJ_w]表示，J表示所述第二初始特征。

步骤S8，根据所述特征集和第二初始特征生成模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二调整特征。

优选的，步骤S8包括：根据下述公式获取所述第二调整特征，

$G_1=J\stackrel{\&OverBar;}{\mathrm{\&beta;}}$

$=\left[\begin{array}{cccccccc}{j}_{v1}& j_{v2}& ...& j_{\mathrm{vm}}& j_{w1}& j_{w2}& ...& j_{\mathrm{wm}}\end{array}\right]{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T$

$=\left[\begin{array}{cccccccc}{j}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& j_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& j_{\mathrm{vm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& j_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& j_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& j_{\mathrm{wm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]$

其中，G₁表示所述第二调整特征，具体的，由于中很多项为零，使得G₁中很多项也为零。由于G₁为表征人脸的特征向量，则其为零项无意义，因此可以剔除，由此使得特征向量的维数降低，也可以理解为只提取不为零的特征块或特征点的第二初始特征的特征分量，并乘以相应的系数，最后拼合为表征该人脸的第二调整特征。

步骤S9，采集待比较人员在某个人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像。具体的，可以根据需要采集待比较人员的不同人脸状态下的多组图像，步骤S9与步骤S1的流程相似。

步骤S10，对待比较人员的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理。具体的，步骤S9与步骤S2的流程相似。

步骤S11，提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征。

优选的，如图6所示，步骤S11包括：

步骤S111，将待比较人员的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取待比较人员的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述可见光特征用公式K_v＝[k_v1k_v2…k_vm]表示，红外特征用公式K_w＝[k_w1k_w2…k_wm]表示，K_v表示待比较人员的m个特征块或特征点的可见光特征，K_w表示待比较人员的m个特征块或特征点的近红外特征，k_v1k_v2…k_vm分别代表某个特征块或特征点的可见光特征分量，k_w1k_w2…k_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；

步骤S112，将待比较人员的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第三初始特征，所述第三初始特征用公式K＝[K_vK_w]表示，K表示所述第三初始特征。

步骤S12，根据所述特征集和第三初始特征生成待比较人员的每组可见光人脸图像和近红外人脸图像的第三调整特征。

优选的，步骤S12中，据下述公式获取所述第三调整特征，

$G_2=K\stackrel{\&OverBar;}{\mathrm{\&beta;}}$

$=\left[\begin{array}{cccccccc}{k}_{v1}& k_{v2}& ...& k_{\mathrm{vm}}& k_{w1}& k_{w2}& ...& k_{\mathrm{wm}}\end{array}\right]{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T$

$=\left[\begin{array}{cccccccc}{k}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& k_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& k_{\mathrm{vm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& k_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& k_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& k_{\mathrm{wm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]$

其中，G₂表示所述第三调整特征。具体的，由于中很多项为零，使得G₂中很多项也为零。由于G₂为表征人脸的特征向量，则其为零项无意义，因此可以剔除，由此使得特征向量的维数降低，也可以理解为只提取不为零的特征块或特征点的第三初始特征的特征分量，并乘以相应的系数，最后拼合为表征该人脸的第三调整特征。

步骤S13，计算所述第三调整特征G₂与每个第二调整特征G₁的距离，将与所述第三调整特征距离G₂最近的第二调整特征G₁所属的人判定为与待比较人员为同一人。具体的，可采用一最近邻分类器找到与所述第三调整特征距离最近的第二调整特征。

综上，本实施例通过确定作为人脸图像的特征集训练来源的样本人员库，采集所述样本人员库中每个人的在至少两种人脸状态下的各一张可见光人脸图像和一张近红外人脸图像，同一个人同一人脸状态下的一张可见光人脸图像和一张近红外人脸图像为一组图像，对样本人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征，对样本人员库中所有人的各组可见光人脸图像和近红外人脸图像的第一初始特征进行选择与融合以生成人脸图像的特征集；确定与待比较人员进行比较的模板人员库，采集所述模板人员库中每个人的在某种人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对模板人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征，根据所述特征集和第二初始特征生成模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二调整特征；采集待比较人员在某个人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对待比较人员的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征，根据所述特征集和第三初始特征生成待比较人员的每组可见光人脸图像和近红外人脸图像的第三调整特征；计算所述第三调整特征与每个第二调整特征的距离，将与所述第三调整特征距离最近的第二调整特征所属的人判定为与待比较人员为同一人，能够有效提高人脸识别性能。

另外，通过将样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征之间的距离向量作为正样本，将样本人员库中不同人的两组图像的第一初始特征之间的距离向量作为负样本，生成n个正样本和n个负样本的距离向量矩阵A，将所述距离向量矩阵A按列进行归一化以获取归一化后的距离向量矩阵A′，根据所述归一化后的距离向量矩阵A′生成样本标号矩阵Y，根据归一化后的距离向量矩阵A′与样本标号矩阵Y的线性关系Y＝A′β，采用优化方程获取β作为评价指标向量，对β作处理以获取特征集从而将人脸进行稀疏表示。采用信号处理中的压缩采样技术，不再要求将人脸图像尽量紧密地表示成一个低维空间，而是将其投影成一个非常稀疏的高维向量，并通过1范数最小化的方法，几乎无误差地恢复该高维向量，且在克服人脸识别时光照、表情、姿态变化等方面具有很强的鲁棒性，因而在进行身份查询和认证等的人脸识别工作中获得较好的识别结果。

实施例二

如图7所示，本发明还提供另一种可见光与近红外信息融合的人脸识别系统，包括特征集模块1、模板特征模块2、待比较特征模块3和比较模块4。

特征集模块1，用于确定作为人脸图像的特征集训练来源的样本人员库，采集所述样本人员库中每个人的在至少两种人脸状态下的各一张可见光人脸图像和一张近红外人脸图像，同一个人同一人脸状态下的一张可见光人脸图像和一张近红外人脸图像为一组图像，对样本人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征，对样本人员库中所有人的各组可见光人脸图像和近红外人脸图像的第一初始特征进行选择与融合以生成人脸图像的特征集。具体的，可搭建采集可见光和近红外的原始图像的软件和硬件设备，硬件设备包括可见光摄像头与近红外摄像头，通过所述软件和硬件设备采集原始图像后，将所述样本人员库中每个人的可见光人脸图像和近红外人脸图像从原始图像中切割出来。采集到的可见光与近红外人脸图像需为正脸图像，同时为了保证训练模板的多样性，需要在不同的条件下采集模板，每个人至少在不同人脸状态下采集两次可见光人脸图像和近红外人脸图像，如不同的光照以及表情变化条件下的可见光人脸图像和近红外人脸图像。在人脸状态不变的情况下，采集的一张可见光人脸图像和一张近红外人脸图像作为一组图像，为了保证采集每组可见光人脸图像与近红外人脸图像的同时性，可将可见光摄像头与近红外摄像头配置为同轴，且距离相近，可见光摄像头与近红外摄像头采集的时间间隔也应该尽量小，但要保证可见光摄像头与近红外摄像头相互之间不被影响。可通过人眼定位等措施，对可见光人脸图像和近红外人脸图像进行归一化，之后覆盖掩膜用于去除背景，同时为了去除光照不均的影响，加入Gamma校正，HOG等光照预处理方法。

优选的，所述特征集模块1，用于将样本人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述样本人员库中每个人的可见光特征用公式H_v＝[h_v1h_v2…h_vm]表示，样本人员库中每个人的近红外特征用公式H_w＝[h_w1h_w2…h_wm]表示，H_v表示样本人员库中每个人的m个特征块或特征点的可见光特征，H_w表示样本人员库中每个人的m个特征块或特征点的近红外特征，h_v1h_v2…h_vm分别代表某个特征块或特征点的可见光特征分量，h_w1h_w2…h_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；将样本人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第一初始特征H，所述第一初始特征用公式H＝[H_vH_w]表示。具体的，可将每组图像中的可见光人脸图像和近红外人脸图像分别划分为s×s＝m个网格，每个网格代表一个特征块或特征点，每个可见光人脸图像的特征块或特征点的可见光特征分量分别表示为h_vi＝h_w1,h_w2,…,h_wm，每个近红外人脸图像的特征块或特征点的近红外特征分量表示为h_wi=h_w1,h_w2,…,h_wm，其中，i＝0,1,…,s×s，将某个人的一组图像中的可见光人脸图像与近红外人脸图像分别提取m个特征块或特征点的可见光特征和近红外特征，表示为H_v与H_w，并将两个特征拼合为一个向量，表示为H＝[H_vH_w]。

较佳的，所述特征集模块1可将提取的样本人员库中所有人的可见光人脸图像和近红外人脸图像的第一初始特征利用稀疏正则化的方法进行特征选择与融合，即通过稀疏正则化的方法选择出具有分类意义的特征区域或特征点，并按照分类效果赋予权值，同时将可见光人脸特征与近红外人脸特征进行融合，得到包括特征块或点的位置以及权重的特征集。所述特征集模块1，用于将样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征之间的距离向量作为正样本，将样本人员库中不同人的两组图像的第一初始特征之间的距离向量作为负样本，每个距离向量根据公式 $\begin{array}{c}{X}_{i1}=f(H,\tilde{H})\\ ={\left[\begin{array}{cccccccc}f(h_{v1},{\tilde{h}}_{v1})& f(h_{v2},{\tilde{h}}_{v2})& ...& f(h_{\mathrm{vm}},{\tilde{h}}_{\mathrm{vm}})& f(h_{w1},{\tilde{h}}_{w1})& f(h_{w2},{\tilde{h}}_{w2})& ...& f(h_{\mathrm{wm}},{\tilde{h}}_{\mathrm{wm}})\end{array}\right]}^T\end{array}$ 获取，其中，H和分别表示样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征或样本人员库中不同人的两组图像的第一初始特征，X_i1表示某个正样本或负样本，i1＝1,…,n，f()代表一函数；生成n个正样本和n个负样本的距离向量矩阵 $A={\left[\begin{array}{cccccccc}{X_1}^{+}& {X_2}^{+}& ...& {X_n}^{+}& X_1^{-}& X_2^{-}& ...& X_n^{-}\end{array}\right]}^T,$ 其中，X₁ ⁺,X₂ ⁺,…,X_n ⁺分别表示某个正样本，分别表示某个负样本，n<m；将所述距离向量矩阵A按列进行归一化以获取归一化后的距离向量矩阵A′；根据所述归一化后的距离向量矩阵A′生成样本标号矩阵Y，所述样本标号矩阵Y的行列数与距离向量矩阵A的行列数一致，若所述归一化后的距离向量矩阵A′的某行为正样本，则所述样本标号矩阵Y的对应行的数值为0，若归一化后的距离向量矩阵A′的某行为负样本，则所述样本标号矩阵Y的对应行的数值为1，例如Y＝[00…011…1]^T；根据归一化后的距离向量矩阵A′与样本标号矩阵Y的线性关系Y＝A′β，采用优化方程获取β作为评价指标向量其中，β＝[β_v1β_v2…β_vmβ_w1β_w2…β_wm]^T，β_v1β_v2…β_vm分别表示某个特征块或特征点的可见光特征的评价指标分量，β_w1β_w2…β_wm分别表示某个特征块或特征点的近红外特征的评价指标分量，所述优化方程通过lasso的方法得到，||·||₂表示欧几里得范数，||·||₁表示1-范数，λ表示正则化系数，用于调整β的稀疏程度，λ越大，β中值为零的项的数目越多，λ||β||₁为稀疏正则项；根据公式 ${\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{i2}=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_{i2}& \mathrm{if}{\mathrm{\&beta;}}_{i2}>T\\ 0& \mathrm{if}{\mathrm{\&beta;}}_{i2}<T\end{array}\right.,$ 对β作处理以获取 $\stackrel{\&OverBar;}{\mathrm{\&beta;}}={\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T,$ 其中，表示所述特征集，分别表示某个特征块或特征点的可见光特征的特征集分量，分别表示某个特征块或特征点的近红外特征的特征集分量，T用于调整人评价指标向量的维数，T越大，选择出的代表特征块或特征点的评价指标分量越少，表征人脸图像的评价指标向量的维数越小，i2＝v1,v2,…,vm或w1,w2,…,wm。具体的，为了保证正样本与负样本数量的均衡，每次从负样本中随机抽取与正样本相同数量的样本作为本次的训练样本，随机若干次后，可将每次训练得到的β′值平均作为最终β′值。如图4所示，归一化后的距离向量矩阵A′与样本标号矩阵Y的存在着线性关系Y＝A′β，由于特征块或特征点的个数m大于正样本和负样本的个数n，致使求得到的β不唯一，所以，需要通过lasso的方法，加入稀疏正则项，通过上述优化方程，得到的唯一解β。所述特征集包括人脸图像的特征块或特征点的位置以及权重，由于β为评价指标向量，则其元素β_i2的值表示了其对应特征块或特征点在分类中的重要程度，则若β_i2为负，或者足够小就意味着该特征块在分类中的作用可以忽略，因此对β做上述处理以获取

模板特征模块2，用于确定与待比较人员进行比较的模板人员库，采集所述模板人员库中每个人的在某种人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对模板人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征，根据所述特征集和第二初始特征生成模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二调整特征。为了提供给后续步骤与待比较人员进行比较的人脸图像，确定与待比较人员进行比较的模板人员库，采集所述模板人员库中每个人的在某种人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像。可以根据需要采集所述模板人员库中每个人的在多种人脸状态下的多组图像。

优选的，所述模板特征模块2，用于将模板人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述模板人员库中每个人的可见光特征用公式J_v＝[j_v1j_v2…j_vm]表示，模板人员库中每个人的近红外特征用公式J_w＝[j_w1j_w2…j_wm]表示，J_v表示模板人员库中每个人的m个特征块或特征点的可见光特征，J_w表示模板人员库中每个人的m个特征块或特征点的近红外特征，j_v1j_v2…j_vm分别代表某个特征块或特征点的可见光特征分量，j_w1j_w2…j_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；将模板人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第二初始特征，所述第二初始特征用公式J＝[J_vJ_w]表示，J表示所述第二初始特征。

较佳的，所述模板特征模块2，用于根据下述公式获取所述第二调整特征，

$G_1=J\stackrel{\&OverBar;}{\mathrm{\&beta;}}$

$=\left[\begin{array}{cccccccc}{j}_{v1}& j_{v2}& ...& j_{\mathrm{vm}}& j_{w1}& j_{w2}& ...& j_{\mathrm{wm}}\end{array}\right]{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T$

$=\left[\begin{array}{cccccccc}{j}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& j_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& j_{\mathrm{vm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& j_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& j_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& j_{\mathrm{wm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]$

其中，G₁表示所述第二调整特征。具体的，由于中很多项为零，使得G₁中很多项也为零。由于G₁为表征人脸的特征向量，则其为零项无意义，因此可以剔除，由此使得特征向量的维数降低，也可以理解为只提取不为零的特征块或特征点的第二初始特征的特征分量，并乘以相应的系数，最后拼合为表征该人脸的第二调整特征。

待比较特征模块3，用于采集待比较人员在某个人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对待比较人员的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征，根据所述特征集和第三初始特征生成待比较人员的每组可见光人脸图像和近红外人脸图像的第三调整特征。具体的，可以根据需要采集待比较人员的不同人脸状态下的多组图像，

优选的，所述待比较特征模块3，用于将待比较人员的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取待比较人员的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述可见光特征用公式K_v＝[k_v1k_v2…k_vm]表示，红外特征用公式K_w＝[k_w1k_w2…k_wm]表示，K_v表示待比较人员的m个特征块或特征点的可见光特征，K_w表示待比较人员的m个特征块或特征点的近红外特征，k_v1k_v2…k_vm分别代表某个特征块或特征点的可见光特征分量，k_w1k_w2…k_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；将待比较人员的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第三初始特征，所述第三初始特征用公式K＝[K_vK_w]表示，K表示所述第三初始特征。

较佳的，根据下述公式获取所述第三调整特征，

$G_2=K\stackrel{\&OverBar;}{\mathrm{\&beta;}}$

$=\left[\begin{array}{cccccccc}{k}_{v1}& k_{v2}& ...& k_{\mathrm{vm}}& k_{w1}& k_{w2}& ...& k_{\mathrm{wm}}\end{array}\right]{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]}^T$

$=\left[\begin{array}{cccccccc}{k}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& k_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& ...& k_{\mathrm{vm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{vm}}& k_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& k_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& ...& k_{\mathrm{wm}}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{wm}}\end{array}\right]$

其中，G₂表示所述第三调整特征。具体的，由于中很多项为零，使得G₂中很多项也为零。由于G₂为表征人脸的特征向量，则其为零项无意义，因此可以剔除，由此使得特征向量的维数降低，也可以理解为只提取不为零的特征块或特征点的第三初始特征的特征分量，并乘以相应的系数，最后拼合为表征该人脸的第三调整特征。

比较模块4，用于计算所述第三调整特征G₂与每个第二调整特征G₁的距离，将与所述第三调整特征距离G₂最近的第二调整特征G₁所属的人判定为与待比较人员为同一人。

综上，本实施例通过确定作为人脸图像的特征集训练来源的样本人员库，采集所述样本人员库中每个人的在至少两种人脸状态下的各一张可见光人脸图像和一张近红外人脸图像，同一个人同一人脸状态下的一张可见光人脸图像和一张近红外人脸图像为一组图像，对样本人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征，对样本人员库中所有人的各组可见光人脸图像和近红外人脸图像的第一初始特征进行选择与融合以生成人脸图像的特征集；确定与待比较人员进行比较的模板人员库，采集所述模板人员库中每个人的在某种人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对模板人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征，根据所述特征集和第二初始特征生成模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二调整特征；采集待比较人员在某个人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对待比较人员的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征，根据所述特征集和第三初始特征生成待比较人员的每组可见光人脸图像和近红外人脸图像的第三调整特征；计算所述第三调整特征与每个第二调整特征的距离，将与所述第三调整特征距离最近的第二调整特征所属的人判定为与待比较人员为同一人，能够有效提高人脸识别性能。

另外，通过将样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征之间的距离向量作为正样本，将样本人员库中不同人的两组图像的第一初始特征之间的距离向量作为负样本，生成n个正样本和n个负样本的距离向量矩阵A，将所述距离向量矩阵A按列进行归一化以获取归一化后的距离向量矩阵A′，根据所述归一化后的距离向量矩阵A′生成样本标号矩阵Y，根据归一化后的距离向量矩阵A′与样本标号矩阵Y的线性关系Y＝A′β，采用优化方程获取β作为评价指标向量，对β作处理以获取特征集从而将人脸进行稀疏表示，采用信号处理中的压缩采样技术，不再要求将人脸图像尽量紧密地表示成一个低维空间，而是将其投影成一个非常稀疏的高维向量，并通过1范数最小化的方法，几乎无误差地恢复该高维向量，且在克服人脸识别时光照、表情、姿态变化等方面具有很强的鲁棒性，因而在进行身份查询和认证等的人脸识别工作中获得较好的识别结果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (9)

1.一种可见光与近红外信息融合的人脸识别方法，其特征在于，包括：

确定作为人脸图像的特征集训练来源的样本人员库，采集所述样本人员库中每个人的在至少两种人脸状态下的各一张可见光人脸图像和一张近红外人脸图像，同一个人同一人脸状态下的一张可见光人脸图像和一张近红外人脸图像为一组图像，对样本人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征，对样本人员库中所有人的各组可见光人脸图像和近红外人脸图像的第一初始特征进行选择与融合以生成人脸图像的特征集；

确定与待比较人员进行比较的模板人员库，采集所述模板人员库中每个人的在某种人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对模板人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征，根据所述特征集和第二初始特征生成模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二调整特征；

采集待比较人员在某个人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对待比较人员的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征，根据所述特征集和第三初始特征生成待比较人员的每组可见光人脸图像和近红外人脸图像的第三调整特征；

计算所述第三调整特征与每个第二调整特征的距离，将与所述第三调整特征距离最近的第二调整特征所属的人判定为与待比较人员为同一人；

其中，提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征的步骤包括：

将样本人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述样本人员库中每个人的可见光特征用公式H_v＝[h_v1h_v2…h_vm]表示，样本人员库中每个人的近红外特征用公式H_w＝[h_w1h_w2…h_wm]表示，H_v表示样本人员库中每个人的m个特征块或特征点的可见光特征，H_w表示样本人员库中每个人的m个特征块或特征点的近红外特征，h_v1h_v2…h_vm分别代表某个特征块或特征点的可见光特征分量，h_w1h_w2…h_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；

将样本人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第一初始特征H，所述第一初始特征用公式H＝[H_vH_w]表示；

提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征的步骤包括：

将模板人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述模板人员库中每个人的可见光特征用公式J_v＝[j_v1j_v2…j_vm]表示，模板人员库中每个人的近红外特征用公式J_w＝[j_w1j_w2…j_wm]表示，J_v表示模板人员库中每个人的m个特征块或特征点的可见光特征，J_w表示模板人员库中每个人的m个特征块或特征点的近红外特征，j_v1j_v2…j_vm分别代表某个特征块或特征点的可见光特征分量，j_w1j_w2…j_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；

将模板人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第二初始特征，所述第二初始特征用公式J＝[J_vJ_w]表示，J表示所述第二初始特征；

提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征的步骤包括：

将待比较人员的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取待比较人员的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述可见光特征用公式K_v＝[k_v1k_v2…k_vm]表示，红外特征用公式K_w＝[k_w1k_w2…k_wm]表示，K_v表示待比较人员的m个特征块或特征点的可见光特征，K_w表示待比较人员的m个特征块或特征点的近红外特征，k_v1k_v2…k_vm分别代表某个特征块或特征点的可见光特征分量，k_w1k_w2…k_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；

将待比较人员的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第三初始特征，所述第三初始特征用公式K＝[K_vK_w]表示，K表示所述第三初始特征。

2.如权利要求1所述的可见光与近红外信息融合的人脸识别方法，其特征在于，对样本人员库中所有人的各组可见光人脸图像和近红外人脸图像的第一初始特征进行选择与融合以生成人脸图像的特征集的步骤包括：

将样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征之间的距离向量作为正样本，将样本人员库中不同人的两组图像的第一初始特征之间的距离向量作为负样本，每个距离向量根据公式 $\begin{array}{c}{X}_{i1}=f\left(H,\tilde{H}\right)\\ ={\left[\begin{array}{cccccccc}f\left(h_{v1},{\tilde{h}}_{v1}\right)& f\left(h_{v2},{\tilde{h}}_{v2}\right)& \mathrm{...}& f\left(h_{vm},{\tilde{h}}_{vm}\right)& f\left(h_{w1},{\tilde{h}}_{w1}\right)& f\left(h_{w2},{\tilde{h}}_{w2}\right)& \mathrm{...}& f\left(h_{wm},{\tilde{h}}_{wm}\right)\end{array}\right]}^T\end{array}$ 获取，其中，H和分别表示样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征或样本人员库中不同人的两组图像的第一初始特征，X_i1表示某个正样本或负样本，i1＝1，…，n；

生成n个正样本和n个负样本的距离向量矩阵 $A={\left[\begin{array}{cccccccc}{X_1}^{+}& {X_2}^{+}& \mathrm{...}& {X_n}^{+}& {X_1}^{-}& {X_2}^{-}& \mathrm{...}& {X_n}^{-}\end{array}\right]}^T,$ 其中，分别表示某个正样本，分别表示某个负样本，n<m；

将所述距离向量矩阵A按列进行归一化以获取归一化后的距离向量矩阵A′；

根据所述归一化后的距离向量矩阵A′生成样本标号矩阵Y，所述样本标号矩阵Y的行列数与距离向量矩阵A的行列数一致，若所述归一化后的距离向量矩阵A′的某行为正样本，则所述样本标号矩阵Y的对应行的数值为0，若归一化后的距离向量矩阵A′的某行为负样本，则所述样本标号矩阵Y的对应行的数值为1；

根据归一化后的距离向量矩阵A′与样本标号矩阵Y的线性关系Y＝A′β，采用优化方程获取β作为评价指标向量，其中，β＝[β_v1β_v2…β_vmβ_w1β_w2…β_wm]^T，β_v1β_v2…β_vm分别表示某个特征块或特征点的可见光特征的评价指标分量，β_w1β_w2…β_wm分别表示某个特征块或特征点的近红外特征的评价指标分量，所述优化方程通过lasso的方法得到，||·||₂表示欧几里得范数，||·||₁表示1-范数，λ表示正则化系数，用于调整β的稀疏程度，λ越大，β中值为零的项的数目越多，λ||β||₁为稀疏正则项；

根据公式 ${\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{i2}=\left\{\begin{array}{ccc}{\mathrm{\&beta;}}_{i2}& if& {\mathrm{\&beta;}}_{i2}>T\\ 0& if& {\mathrm{\&beta;}}_{i2}<T\end{array}\right.,$ 对β作处理以获取 $\stackrel{\&OverBar;}{\mathrm{\&beta;}}={\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{vm}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{wm}\end{array}\right]}^T,$ 其中，表示所述特征集，分别表示某个特征块或特征点的可见光特征的特征集分量，分别表示某个特征块或特征点的近红外特征的特征集分量，T用于调整人评价指标向量的维数，T越大，选择出的代表特征块或特征点的评价指标分量越少，表征人脸图像的评价指标向量的维数越小，i2＝v1，v2，…，vm或w1，w2，…，wm。

3.根据权利要求1所述的可见光与近红外信息融合的人脸识别方法，其特征在于，所述特征集包括人脸图像的特征块或特征点的位置以及权重。

4.根据权利要求1所述的可见光与近红外信息融合的人脸识别方法，其特征在于，根据所述特征集和第二初始特征生成模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二调整特征的步骤中：

根据下述公式获取所述第二调整特征，

$\begin{array}{c}{G}_1=J\stackrel{\&OverBar;}{\mathrm{\&beta;}}\\ =\&lsqb;\begin{array}{cccccccc}{j}_{v1}& j_{v2}& \mathrm{...}& j_{vm}& j_{w1}& j_{w2}& \mathrm{...}& j_{wm}\end{array}\&rsqb;{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{vm}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{wm}\end{array}\right]}^T\\ =\&lsqb;\begin{array}{cccccccc}{j}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& j_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& \mathrm{...}& j_{vm}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{vm}& j_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& j_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& \mathrm{...}& j_{wm}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{wm}\end{array}\&rsqb;\end{array}$

其中，G₁表示所述第二调整特征。

5.根据权利要求1所述的可见光与近红外信息融合的人脸识别方法，其特征在于，根据所述特征集和第三初始特征生成待比较人员的每组可见光人脸图像和近红外人脸图像的第三调整特征的步骤中：

根据下述公式获取所述第三调整特征，

$\begin{array}{c}{G}_2=K\stackrel{\&OverBar;}{\mathrm{\&beta;}}\\ =\&lsqb;\begin{array}{cccccccc}{k}_{v1}& k_{v2}& \mathrm{...}& k_{vm}& k_{w1}& k_{w2}& \mathrm{...}& k_{wm}\end{array}\&rsqb;{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{vm}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{wm}\end{array}\right]}^T\\ =\&lsqb;\begin{array}{cccccccc}{k}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& k_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& \mathrm{...}& k_{vm}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{vm}& k_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& k_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& \mathrm{...}& k_{wm}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{wm}\end{array}\&rsqb;\end{array}$

其中，G₂表示所述第三调整特征。

6.一种可见光与近红外信息融合的人脸识别系统，其特征在于，包括：

特征集模块，用于确定作为人脸图像的特征集训练来源的样本人员库，采集所述样本人员库中每个人的在至少两种人脸状态下的各一张可见光人脸图像和一张近红外人脸图像，同一个人同一人脸状态下的一张可见光人脸图像和一张近红外人脸图像为一组图像，对样本人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的第一初始特征，对样本人员库中所有人的各组可见光人脸图像和近红外人脸图像的第一初始特征进行选择与融合以生成人脸图像的特征集；

模板特征模块，用于确定与待比较人员进行比较的模板人员库，采集所述模板人员库中每个人的在某种人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对模板人员库中每个人的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二初始特征，根据所述特征集和第二初始特征生成模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的第二调整特征；

待比较特征模块，用于采集待比较人员在某个人脸状态下的一张可见光人脸图像和一张近红外人脸图像作为一组图像，对待比较人员的每组可见光人脸图像和近红外人脸图像进行归一化、背景去除和光照预处理，提取待比较人员的每组可见光人脸图像和近红外人脸图像的第三初始特征，根据所述特征集和第三初始特征生成待比较人员的每组可见光人脸图像和近红外人脸图像的第三调整特征；

比较模块，用于计算所述第三调整特征与每个第二调整特征的距离，将与所述第三调整特征距离最近的第二调整特征所属的人判定为与待比较人员为同一人；

其中，所述特征集模块，用于将样本人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取样本人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述样本人员库中每个人的可见光特征用公式H_v＝[h_v1h_v2…h_vm]表示，样本人员库中每个人的近红外特征用公式H_w＝[h_w1h_w2…h_wm]表示，H_v表示样本人员库中每个人的m个特征块或特征点的可见光特征，H_w表示样本人员库中每个人的m个特征块或特征点的近红外特征，h_v1h_v2…h_vm分别代表某个特征块或特征点的可见光特征分量，h_w1h_w2…h_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；将样本人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第一初始特征H，所述第一初始特征用公式H＝[H_vH_w]表示；

所述模板特征模块，用于将模板人员库中每个人的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取模板人员库中每个人的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述模板人员库中每个人的可见光特征用公式J_v＝[j_v1j_v2…j_vm]表示，模板人员库中每个人的近红外特征用公式J_w＝[j_w1j_w2…j_wm]表示，J_v表示模板人员库中每个人的m个特征块或特征点的可见光特征，J_w表示模板人员库中每个人的m个特征块或特征点的近红外特征，j_v1j_v2…j_vm分别代表某个特征块或特征点的可见光特征分量，j_w1j_w2…j_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；将模板人员库中每个人的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第二初始特征，所述第二初始特征用公式J＝[J_vJ_w]表示，J表示所述第二初始特征；

所述待比较特征模块，用于将待比较人员的每组可见光人脸图像和近红外人脸图像划分为m个特征块或特征点，分别提取待比较人员的每组可见光人脸图像和近红外人脸图像的m个特征块或特征点的可见光特征和近红外特征，其中，所述可见光特征和近红外特征为局部特征或全局特征，所述局部特征包括LBP、Gabor特征，所述全局特征包括PCA、LDA特征，所述可见光特征用公式K_v＝[k_v1k_v2…k_vm]表示，红外特征用公式K_w＝[k_w1k_w2…k_wm]表示，K_v表示待比较人员的m个特征块或特征点的可见光特征，K_w表示待比较人员的m个特征块或特征点的近红外特征，k_v1k_v2…k_vm分别代表某个特征块或特征点的可见光特征分量，k_w1k_w2…k_wm分别代表某个特征块或特征点的近红外特征分量，m为正整数；将待比较人员的m个特征块或特征点的可见光特征和近红外特征拼合成一个向量作为第三初始特征，所述第三初始特征用公式K＝[K_vK_w]表示，K表示所述第三初始特征。

7.如权利要求6所述的可见光与近红外信息融合的人脸识别系统，其特征在于，所述特征集模块，用于将样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征之间的距离向量作为正样本，将样本人员库中不同人的两组图像的第一初始特征之间的距离向量作为负样本，每个距离向量根据公式 $\begin{array}{c}{X}_{i1}=f\left(H,\tilde{H}\right)\\ ={\left[\begin{array}{cccccccc}f\left(h_{v1},{\tilde{h}}_{v1}\right)& f\left(h_{v2},{\tilde{h}}_{v2}\right)& \mathrm{...}& f\left(h_{vm},{\tilde{h}}_{vm}\right)& f\left(h_{w1},{\tilde{h}}_{w1}\right)& f\left(h_{w2},{\tilde{h}}_{w2}\right)& \mathrm{...}& f\left(h_{wm},{\tilde{h}}_{wm}\right)\end{array}\right]}^T\end{array}$ 获取，其中，H和分别表示样本人员库中同一个人在两种人脸状态下的两组图像的第一初始特征或样本人员库中不同人的两组图像的第一初始特征，X_i1表示某个正样本或负样本，i1＝1，…，n；生成n个正样本和n个负样本的距离向量矩阵 $A={\left[\begin{array}{cccccccc}{X_1}^{+}& {X_2}^{+}& \mathrm{...}& {X_n}^{+}& {X_1}^{-}& {X_2}^{-}& \mathrm{...}& {X_n}^{-}\end{array}\right]}^T,$ 其中，分别表示某个正样本，分别表示某个负样本，n<m；将所述距离向量矩阵A按列进行归一化以获取归一化后的距离向量矩阵A′；根据所述归一化后的距离向量矩阵A′生成样本标号矩阵Y，所述样本标号矩阵Y的行列数与距离向量矩阵A的行列数一致，若所述归一化后的距离向量矩阵A′的某行为正样本，则所述样本标号矩阵Y的对应行的数值为0，若归一化后的距离向量矩阵A′的某行为负样本，则所述样本标号矩阵Y的对应行的数值为1；根据归一化后的距离向量矩阵A′与样本标号矩阵Y的线性关系Y＝A′β，采用优化方程获取β作为评价指标向量其中，β＝[β_v1β_v2…β_vmβ_w1β_w2…β_wm]^T，β_v1β_v2…β_vm分别表示某个特征块或特征点的可见光特征的评价指标分量，β_w1β_w2…β_wm分别表示某个特征块或特征点的近红外特征的评价指标分量，所述优化方程通过lasso的方法得到，||·||₂表示欧几里得范数，||·||₁表示1-范数，λ表示正则化系数，用于调整β的稀疏程度，λ越大，β中值为零的项的数目越多，λ||β||₁为稀疏正则项；根据公式 ${\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{i2}=\left\{\begin{array}{ccc}{\mathrm{\&beta;}}_{i2}& if& {\mathrm{\&beta;}}_{i2}>T\\ 0& if& {\mathrm{\&beta;}}_{i2}<T\end{array}\right.,$ 对β作处理以获取 $\stackrel{\&OverBar;}{\mathrm{\&beta;}}={\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{vm}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{wm}\end{array}\right]}^T,$ 其中，表示所述特征集，分别表示某个特征块或特征点的可见光特征的特征集分量，分别表示某个特征块或特征点的近红外特征的特征集分量，T用于调整人评价指标向量的维数，T越大，选择出的代表特征块或特征点的评价指标分量越少，表征人脸图像的评价指标向量的维数越小，i2＝v1，v2，…，vm或w1，w2，…，wm。

8.如权利要求6所述的可见光与近红外信息融合的人脸识别系统，其特征在于，所述模板特征模块，用于根据下述公式获取所述第二调整特征，

$\begin{array}{c}{G}_1=J\stackrel{\&OverBar;}{\mathrm{\&beta;}}\\ =\&lsqb;\begin{array}{cccccccc}{j}_{v1}& j_{v2}& \mathrm{...}& j_{vm}& j_{w1}& j_{w2}& \mathrm{...}& j_{wm}\end{array}\&rsqb;{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{vm}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{wm}\end{array}\right]}^T\\ =\&lsqb;\begin{array}{cccccccc}{j}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& j_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& \mathrm{...}& j_{vm}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{vm}& j_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& j_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& \mathrm{...}& j_{wm}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{wm}\end{array}\&rsqb;\end{array}$

其中，G₁表示所述第二调整特征。

9.如权利要求6所述的可见光与近红外信息融合的人脸识别系统，其特征在于，根据下述公式获取所述第三调整特征，

$\begin{array}{c}{G}_2=K\stackrel{\&OverBar;}{\mathrm{\&beta;}}\\ =\&lsqb;\begin{array}{cccccccc}{k}_{v1}& k_{v2}& \mathrm{...}& k_{vm}& k_{w1}& k_{w2}& \mathrm{...}& k_{wm}\end{array}\&rsqb;{\left[\begin{array}{cccccccc}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{vm}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& \mathrm{...}& {\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{wm}\end{array}\right]}^T\\ =\&lsqb;\begin{array}{cccccccc}{k}_{v1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v1}& k_{v2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{v2}& \mathrm{...}& k_{vm}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{vm}& k_{w1}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w1}& k_{w2}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{w2}& \mathrm{...}& k_{wm}{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{wm}\end{array}\&rsqb;\end{array}$

其中，G₂表示所述第三调整特征。