CN102831400A - 一种多光谱人脸识别方法及其系统 - Google Patents

Abstract

本发明涉及一种多光谱人脸识别方法及其系统，其特征在于包括多光谱成像系统、彩色相机、人脸识别模块、数据存储模块、中心控制模块和光谱仪；多光谱成像系统将拍摄的人脸图像数据输出至人脸识别模块，人脸识别模块根据数据存储模块中的标准人脸数据库的信息进行识别，然后将识别的结果进行输出；中心控制模块控制多光谱成像系统的图像摄取和人脸识别模块的识别；所述多光谱成像系统包括物镜、液晶可调滤光片和CCD相机；在CCD相机的CCD镜头前设有液晶可调滤光片，液晶可调滤光片的前端设有物镜。本方法的人脸图像中多特征的提取，也使得识别过程中类间距离更明显，识别算法的可分离性更强，有利于提高识别效果。

Description

一种多光谱人脸识别方法及其系统

技术领域

本发明涉及生物特征识别领域，具体涉及一种多光谱人脸识别方法及其系统。

背景技术

作为生物特征识别技术的一种，人脸识别具有直接、友好、自然、高可接受性的特点，使用者无任何心理障碍，且图像采集方便；另外，我们还能够对人脸识别的结果作进一步的分析，获取诸如性别、表情、年龄等额外的丰富信息，因此该技术得到了广泛的研究与应用。当前，人脸识别技术主要被应用于视频监控、入口控制、刑侦破案、证件验证等方面，此外人脸识别技术在医学、档案管理、视频会议等领域也有着巨大的应用前景。

目前，人脸识别系统及相关技术主要是基于普通RGB彩色图像的人脸识别，这也是人们最熟悉的识别方式。理想情况下，一个鲁棒的人脸检测和识别系统能够在无约束条件下辨别不同的人脸，同时它也可以对距离较远的目标进行辨别。但人脸表情、化妆、眼镜、脸部散落的头发等因素的改变都会使人脸产生差异，而光照、相机视角、相机的辐射响应等外部因素也会导致所获得人脸图像产生巨大的变化。基于传统成像系统的人脸识别技术由于仅仅利用了观测对象的空间几何特征，对于各种条件变化带来的不确定性非常敏感，只有在外部因素和内部因素受限的情况下才能获得较满意的效果，而在不受控环境下识别性能会急剧下降，因此有着难以克服的缺陷。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种多光谱人脸识别方法及其系统，多光谱图像是由多光谱成像仪从可见光到近红外的几十甚至数百个连续的窄波段内获取的图像，不同波段的信息代表了被观测对象在不同光谱频段的辐射/反射情况，具有明确的物理意义。多通道光谱成像，尤其是多光谱成像的生物特征探测能够在获取传统的生物体空间特征信息的基础上，同时获取生物体的光谱特征信息。相关研究表明，皮肤的光谱特性可以反映出皮肤色彩的唯一性，不同的人的皮肤具有不同的光谱特性，这就为利用光谱信息识别确认具体身份的对象提供了可能。将多光谱成像应用于人脸识别，可探测到传统光学图像无法探测到的光谱信息，不仅可以提高识别算法的稳定性，更能避免化妆、仿制等手段造成的伪装欺骗，有利于整体提升人脸识别系统的可靠性。

技术方案

一种多光谱人脸识别方法，其特征在于步骤如下：

步骤1：从多光谱人脸图像上提取五个区域：头发、前额、左脸颊、右脸颊和嘴唇；

步骤2：进入探测器的辐射强度Lg与反射率R之间有线性关系：Lg＝k×R+b，根据反演模型：

$k=\frac{\mathrm{N\Σ}\left({\mathrm{DN}}_i{R}_i\right)-\mathrm{\Σ}{\mathrm{DN}}_i\mathrm{\Σ}{R}_i}{\mathrm{N\Σ}{R_i}^2-{\left(\mathrm{\Σ}{R}_i\right)}^2}$

$b=\frac{\mathrm{\Σ}\left({\mathrm{DN}}_i{R}_i\right)-\mathrm{k\Σ}{R_i}^2}{\mathrm{\Σ}{R}_i}$

上式中，DN_i为图像上的一样本区域的灰度值，R_i为光谱仪所得的对应区域光谱反射率，N为样本区域内的像素数，求和对N个点求和。

通过最小二乘法计算多光谱人脸图像的光谱反射率和灰度的关系参数k，b；

步骤3

求取头发区域的光谱反射率：对于每个人脸头发区域，先进行经验线性法反演，根据灰度DN_hi得到反射率数据：R_h(x,y,λ_i)＝(DN_hi(x,y,λ_i)-b)/k，通过

i＝1,2,...I_n得到光谱反射率向量R_h＝(R_h(λ₁),R_h(λ₂),...R_h(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸头发方块区域内所有像素求和；

求取前额区域的光谱反射率：对于每个人脸前额区域，先进行经验线性法反演，根据灰度DN_fi得到反射率数据：R_f(x,y,λ_i)＝(DN_fi(x,y,λ_i)-b)/k，通过i＝1,2,...I_n得到光谱反射率向量R_f＝(R_f(λ₁),R_f(λ₂),...R_f(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸前额方块区域内所有像素求和；

求取左脸颊区域的光谱反射率：对于每个人脸左脸颊区域，先进行经验线性法反演，根据灰度DN_lci得到反射率数据R_lc(x,y,λ_i)＝(DN_lci(x,y,λ_i)-b)/k，通过得到光谱反射率向量R_lc＝(R_lc(λ₁),R_lc(λ₂),...R_lc(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸左脸颊方块区域内所有像素求和；

求取右脸颊区域的光谱反射率：对于每个人脸右脸颊区域，先进行经验线性法反演，根据灰度DN_rc得到反射率数据

通过

得到光谱反射率向量R_rc＝(R_rc(λ₁),R_rc(λ₂),...R_rc(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸右脸颊方块区域内所有像素求和；

求取嘴唇区域的光谱反射率：对于每个人脸嘴唇区域，先进行经验线性法反演，根据灰度DN_li得到反射率数据R_l(x,y,λ_i)＝(DN_li(x,y,λ_i)-b)/k，通过得到光谱反射率向量R_l＝(R_l(λ₁),R_l(λ₂),...R_l(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸嘴唇方块区域内所有像素求和；

步骤4：对各个区域的光谱分别采用包络线消除法分析光谱。设光谱曲线数组为R(i),i＝0,1,2,...k-1，波长数组为W(i),i＝0,1,2...k-1，具体步骤如下：

步骤a：i＝0,将R(i)、W(i)带入包络线节点列表；

步骤b：求新的包络线节点，如果i＝k-1,结束；否则，令j＝i+1,继续循环；

步骤c：检查直线(i,j)与光谱曲线W(i)的交点，如果j＝k-1，结束，将R(i)、W(i)加入到包络线节点表中，否则：

1）m＝j+1

2）如果m＝j-1完成检查，j是包络线上的节点，将R(i)、W(i)加入到包络线节点表中，i＝j，转到步骤b；

3）求直线(i,j)和光谱曲线W(i)的交点r1(m)；

4）如果R(m)＞r1(m，则j不是包络线上的点，j＝j+1,转到步骤c；如果R(m)<r1(m)；则直线(i,j)与光谱曲线W(i)最多有一交点，m＝m+1,转到2）；

步骤d：得到包络线节点表后，将相邻的节点用直线段依次相连接，求出W(i)所对应的折线段上的点的函数值H(i)i＝0,1,2,...k-1，从而得到该光谱曲线,的包络线，显然有H(i)＞R(i)；

步骤e：对光谱曲线进行包络线消除：R_u(i)＝R(i)/H(i),i＝0,1,2,3,...k-1，从而得到包络线消除后的光谱曲线R_u(i)；

步骤5：对每个区域分别计算SAI，

$\mathrm{SAI}=\frac{{\mathrm{dR}}_{S1}+(1-d)R_{S2}}{R_M},$

其中：中心波长M为反射率曲线上极小值点对应的波长位置；R_S1、λ_S1为反射率曲线上吸收左肩端S1的反射率和波长位置；R_M、λ_M为反射率曲线上吸收点M的反射率和波长位置；R_S2、λ_S2为反射率曲线上吸收右肩端S2的反射率和波长位置；反射率曲线上吸收右肩端与吸收左肩端的波长差为吸收宽度W＝λ_S2-λ_S1；反射率曲线上光谱吸收深度D＝|1-R_M|；

步骤6：计算上述5个区域的组织类型t处人脸样本i到样本j的距离，通过马氏距离来定义： ${D_t}^{\&prime;}(i,j)={({\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(i\right)-{\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(j\right))}^T{\mathrm{\&Sigma;}}_t^{-1}({\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(i\right)-{\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(j\right))$

人脸样本i到样本j的距离为

D(i,j)＝ω_fD_f(i,j)+ω_lcD_lc(i,j)+ω_rcD_rc(i,j)+ω_hD_h(i,j)+ω_lD_l(i,j)

上式各个权值ω根据相应的区域在图像中可见或不可见取1或0；

步骤7：对于每个样本来说，∑t是对应向量

的协方差阵，维数为I_n；整个数据库每个组织类型t取一个协方差阵∑t。我们通过每个波段对应的方差生成的对角阵Lt来近似∑t。

步骤8：假设有C类样本，对于训练样本j，测试样本库中与其同类的定义为T_j。我们先计算j到样本库中每个图像i的距离D(i,j)，如果D(T_j,j)是C种距离当中最小的，则认为样本j被正确识别。

一种实现多光谱人脸识别方法的系统，其特征在于包括多光谱成像系统、彩色相机、人脸识别模块、数据存储模块、中心控制模块和光谱仪；多光谱成像系统将拍摄的人脸图像数据输出至人脸识别模块，人脸识别模块根据数据存储模块中的标准人脸数据库的信息进行识别，然后将识别的结果进行输出；中心控制模块控制多光谱成像系统的图像摄取和人脸识别模块的识别；所述多光谱成像系统包括物镜6、液晶可调滤光片3和CCD相机5；在CCD相机5的CCD镜头前设有液晶可调滤光片3，液晶可调滤光片3的前端设有物镜6。

有益效果

本发明提出的一种多光谱人脸识别方法及其系统，相比具有如下优点：1、多光谱成像应用于人脸检测和识别，相比常规的光学图像，可附加获取生物体的光谱特征信息，具有更高的识别性能；系统中引入高精度光谱仪，通过对图像灰度值（辐射亮度）的反演得到人脸皮肤的光谱反射率，可以克服光照等环境条件的影响；皮肤光谱特性具有相对的稳定性，丰富的光谱信息不仅克服了单纯利用空间几何特征所带来的问题，也使得更好的区分外貌相似的观测对象成为可能，从而可以避免人脸识别过程中的一些伪装欺骗手段；人脸图像中多特征的提取，也使得识别过程中类间距离更明显，识别算法的可分离性更强，有利于提高识别效果。

附图说明

图1：本发明方法流程；

图2：光谱吸收指数(SAl)中心波长M为反射率曲线上极小值点对应的波长位置；

图3：为本发明多光谱人脸识别系统的一个实施例的结构示意图；

图4：为本发明中基于液晶可调谐滤光片多光谱相机的成像原理图；

图5：为本发明中基于液晶可调谐滤光片多光谱相机的结构示意图；

图6：为本发明多光谱人脸识别系统中的人脸识别软件框架图；

图7：为本发明采用经验线性法提取的不同人脸部皮肤光谱曲线图；

1-第一镜头，2-第二镜头，3-液晶可调滤光片，4-第三镜头，5-CCD相机，6-物镜，7-CCD镜头，8-安装孔。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明提供了一种多光谱人脸识别系统，如图1所示，主要包括图像采集模块，光谱仪模块以及主控计算机系统。

如图1，系统的前端是图像采集模块，包括多光谱成像系统和普通彩色照相机两部分，且两部分相互独立。多光谱成像系统（如图2、3所示）基于液晶可调滤光片(LCTF)和CCD相机研制，利用高探测率的可见光近红外面阵CCD探测器配合高性能的液晶可调滤光片、分光器件和望远器件，以凝视方式成像。在前端安装过程中，相机与LCTF用光学实验板固定，使相互之间没有倾斜、滚动问题。液晶可调滤光片通过控制盒与后台计算机的USB口连接，由USB口供电。彩色相机为图像采集装置附件，采用市面上传统的视频获取设备，搭建时独立于多光谱人脸成像系统，只与前台显示装置相连，主要功能是提供传统的视频图像用作客户区显示，以提高客户体验度。

主控计算机系统通常由位于后台的微型计算机构成，主要包括多光谱人脸识别模块、中心控制模块以及前述的数据存储模块。另外，多路图像传输装置通常由PCI视频采集卡构成，加载于主控计算机系统中，并与前端高增益相机相连；高精度光谱仪设备用于采集识别环境标准光谱数据，并与数据存储模块相连。

实施实例中，采用的多光谱成像系统（如图2所示）基于液晶可调滤光片(LCTF)和CCD相机研制，液晶可调滤光片(LCTF)是美国CRI公司所研发的Varispec多光谱液晶滤光片，可在波长范围400至720nm、650至1100nm、850至1800nm、1200至2450nm等多种可选，其半峰宽为20nm。CCD相机是QImaging Retiga Exi型号。彩色相机为图像采集装置附件，采用市面上传统的视频获取设备，此处采用维视公司Mv-1300Uc相机。

主控计算机系统通常由位于后台的微型计算机构成，主要包括多光谱人脸识别模块、中心控制模块以及前述的数据存储模块。计算机型号是联想启天M7300。另外，多路图像传输装置通常由PCI1394视频采集卡构成，加载于主控计算机系统中，并与前端高增益相机相连。

多光谱人脸识别模块的首要功能是多光谱图像数据采集，光谱图像采集模块在LCTF和CCD部件的SDK基础上开发，主要包含液晶可调滤光片端口查询、波段选择、波段自动扫描、CCD参数设置、图像抓取与自动存储等功能。其开发语言是Vc++6.0。另外，人脸识别模块还需自动完成人脸识别功能，主要包括如下几部分功能：人脸检测（主要完成输入图像中人脸部位的确认与提取）；人脸分割（主要完成对人脸各部分如眼睛、嘴唇、脸颊的定位）；人脸光谱数据反演（主要完成人脸图像灰度值到光谱反射率值的转换）；人脸特征提取（提取人脸的几何、光谱等特征）；人脸识别（与标准数据库中的数据进行对比与辨别）。

系统使用时，当检测到有访问者进入监控区域，后台控制系统自动控制图像采集模块中的电可调协滤光片以及高增益相机以采集受访者的多光谱人脸图像；图像数据经多路采集卡传递给主控计算机系统；后端计算机系统通过人脸识别模块完成人脸特征提取，通过与数据存储模块中的标准人脸图像库交换对比完成最终的识别功能，输出识别结果。

人脸识别模块还需自动完成人脸识别功能，主要包括如下几部分功能：人脸检测（主要完成输入图像中人脸部位的确认与提取）；人脸分割（主要完成对人脸各部分如眼睛、嘴唇、脸颊的定位）；人脸光谱数据反演（主要完成人脸图像灰度值到光谱反射率值的转换）；人脸特征提取（提取人脸的几何、光谱等特征）；人脸识别（与标准数据库中的数据进行对比与辨别）。模块系统在功能开发时，以后台计算机所用操作系统及其提供的API为基础，开发语言无特定要求，但需保证各功能模块相对独立，以提高模块的稳定性。人脸识别模块的流程如下：

步骤1：从多光谱人脸图像上提取五个区域：头发、前额、左脸颊、右脸颊和嘴唇；我们从人脸图像上截取一小块人脸区域，并用得到的光谱吸收指数向量来代表一个样本，对于正面图像，提取了五个区域，分别为：头发、前额、左脸颊、右脸颊、嘴唇。而对于其余有角度的图像，取的则是这五个区域的子集，且这些区域在对应图像的可见范围内。

步骤2：进入探测器的辐射强度Lg与反射率R之间有线性关系：Lg＝k×R+b，根据反演模型：

$k=\frac{\mathrm{N\&Sigma;}\left({\mathrm{DN}}_i{R}_i\right)-\mathrm{\&Sigma;}{\mathrm{DN}}_i\mathrm{\&Sigma;}{R}_i}{\mathrm{N\&Sigma;}{R_i}^2-{\left(\mathrm{\&Sigma;}{R}_i\right)}^2}$

$b=\frac{\mathrm{\&Sigma;}\left({\mathrm{DN}}_i{R}_i\right)-\mathrm{k\&Sigma;}{R_i}^2}{\mathrm{\&Sigma;}{R}_i}$

上式中，DN_i为图像上的一样本区域的灰度值，R_i为光谱仪所得的对应区域光谱反射率，N为样本区域内的像素数，求和对N个点求和；

通过最小二乘法计算多光谱人脸图像的光谱反射率和灰度的关系参数k，b；

对于得到的每个人脸小区域，先进行经验线性法反演，得到反射率数据R(x,y,λ_i)，光谱反射率向量R_t＝(R_t(λ₁),R_t(λ₂),...Rt(λ_1n))^T通过下式得到

$R_t\left({\mathrm{\&lambda;}}_i\right)=\frac{1}{N}\underset{x,y}{\mathrm{\&Sigma;}}(x,y,{\mathrm{\&lambda;}}_i)$ i＝1,2,...I_n

其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸皮肤方块区域内所有像素求和，t是以下五种组织类型中的一种：前额、左脸颊、右脸颊、头发和嘴唇。光谱反射率的求法为：

成像光谱仪所获得图像的DN值不能代表目标的反射率值，即在对传感器定标后，由传感器输出的是目标的灰度值，而我们建立的数据库是目标的反射率，有必要将相机获得的辐射亮度值转换为反射率值，即所谓多光谱数据的定标。

假定进入探测器的辐射强度Lg与反射率R之间有线性关系

Lg＝k×R+b

反演模型为

$k=\frac{\mathrm{N\&Sigma;}\left({\mathrm{DN}}_i{R}_i\right)-\mathrm{\&Sigma;}{\mathrm{DN}}_i\mathrm{\&Sigma;}{R}_i}{\mathrm{N\&Sigma;}{R_i}^2-{\left(\mathrm{\&Sigma;}{R}_i\right)}^2}$

$b=\frac{\mathrm{\&Sigma;}\left({\mathrm{DN}}_i{R}_i\right)-\mathrm{k\&Sigma;}{R_i}^2}{\mathrm{\&Sigma;}{R}_i}$

通过最小二乘法求得未知数k,b，而这些参数都是该线性模型中的常量值。将些二元回归得到的常数值应用于图像其它像素点处的光谱曲线反演，便可得到任一像素处准确的光谱曲线。

步骤3

求取头发区域的光谱反射率：对于每个人脸头发区域，先进行经验线性法反演，根据灰度DN_hi得到反射率数据：R_h(x,y,λ_i)＝(DN_hi(x,y,λ_i)-b)/k，通过

得到光谱反射率向量R_h＝(R_h(λ₁),R_h(λ₂),...R_h(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸头发方块区域内所有像素求和；

求取前额区域的光谱反射率：对于每个人脸前额区域，先进行经验线性法反演，根据灰度DN_fi得到反射率数据：R_f(x,y,λ_i)＝(DN_fi(x,y,λ_i)-b)/k，通过得到光谱反射率向量R_f＝(R_f(λ₁),R_f(λ₂),...R_f(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸前额方块区域内所有像素求和；

求取左脸颊区域的光谱反射率：对于每个人脸左脸颊区域，先进行经验线性法反演，根据灰度DN_lci得到反射率数据R_lc(x,y,λ_i)＝(DN_lci(x,y,λ_i)-b)/k，通过

i＝1,2,...I_n得到光谱反射率向量R_lc＝(R_lc(λ₁),R_lc(λ₂),...R_lc(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸左脸颊方块区域内所有像素求和；

求取右脸颊区域的光谱反射率：对于每个人脸右脸颊区域，先进行经验线性法反演，根据灰度DN_rc得到反射率数据

通过

i＝1,2,...I_n得到光谱反射率向量R_rc＝(R_rc(λ₁),R_rc(λ₂),...R_rc(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸右脸颊方块区域内所有像素求和；

求取嘴唇区域的光谱反射率：对于每个人脸嘴唇区域，先进行经验线性法反演，根据灰度DN_li得到反射率数据R_l(x,y,λ_i)＝(DN_li(x,y,λ_i)-b)/k，通过

i＝1,2,...I_n得到光谱反射率向量R_l＝(R_l(λ₁),R_l(λ₂),...R_l(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸嘴唇方块区域内所有像素求和；

步骤4：对各个区域的光谱分别采用包络线消除法分析光谱。设光谱曲线数组为R(i),i＝0,1,2,...k-1，波长数组为W(i),i＝0,1,2...k-1，具体步骤如下：

步骤a：i＝0,将R(i)、W(i)带入包络线节点列表；

步骤b：求新的包络线节点，如果i＝k-1,结束；否则，令j＝i+1,继续循环；

步骤c：检查直线(i,j)与光谱曲线W(i)的交点，如果j＝k-1，结束，将R(i)、W(i)加入到包络线节点表中，否则：

5）m＝j+1

6）如果m＝j-1完成检查，j是包络线上的节点，将R(i)、W(i)加入到包络线节点表中，i＝j，转到步骤b；

7）求直线(i,j)和光谱曲线W(i)的交点r1(m)；

8）如果R(m)＞r1(m，则j不是包络线上的点，j＝j+1,转到步骤c；如果R(m)<r1(m)；则直线(i,j)与光谱曲线W(i)最多有一交点，m＝m+1,转到2）；

步骤d：得到包络线节点表后，将相邻的节点用直线段依次相连接，求出W(i)所对应的折线段上的点的函数值H(i)i＝0,1,2,...k-1，从而得到该光谱曲线,的包络线，显然有H(i)＞R(i)；

步骤e：对光谱曲线进行包络线消除：R_u(i)＝R(i)/H(i),i＝0,1,2,3,...k-1，从而得到包络线消除后的光谱曲线R_u(i)；

用包络线去除法来计算光谱曲线的中心波长M、吸收宽度D、吸收深度W、对称度S和吸收面积A等参数，具体算法如下：首先找出反射率光谱曲线的所有极大值点，用包络线将它们依次连接，计算每个波长位置上反射率与对应包络线反射率比值得到“比值反射率”，比值反射率曲线的每个极小值点即特征吸收峰。得到特征吸收峰以后，每个吸收峰的特征参数也就随之确定。

步骤5：对每个区域分别计算SAI，

$\mathrm{SAI}=\frac{{\mathrm{dR}}_{S1}+(1-d)R_{S2}}{R_M}$

其中：中心波长M为反射率曲线上极小值点对应的波长位置；R_S1、λ_S1为反射率曲线上吸收左肩端S1的反射率和波长位置；R_M、λ_M为反射率曲线上吸收点M的反射率和波长位置；R_S2、λ_S2为反射率曲线上吸收右肩端S2的反射率和波长位置；反射率曲线上吸收右肩端与吸收左肩端的波长差为吸收宽度W＝λ_S2-λ_S1；反射率曲线上光谱吸收深度D＝|1-R_M|；

步骤6：计算上述5个区域的组织类型t处人脸样本i到样本j的距离，通过马氏距离来定义： ${D_t}^{\&prime;}(i,j)={({\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(i\right)-{\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(j\right))}^T{\mathrm{\&Sigma;}}_t^{-1}({\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(i\right)-{\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(j\right))$

人脸样本i到样本j的距离为

D(i,j)＝ω_fD_f(i,j)+ω_lcD_lc(i,j)+ω_rcD_rc(i,j)+ω_hD_h(i,j)+ω_lD_l(i,j)

上式各个权值ω根据相应的区域在图像中可见或不可见取1或0；

步骤7：对于每个样本来说，∑t是对应向量

的协方差阵，维数为I_n；整个数据库每个组织类型t取一个协方差阵∑t。我们通过每个波段对应的方差生成的对角阵Lt来近似∑t。

步骤8：假设有C类样本，对于训练样本j，测试样本库中与其同类的定义为T_j。我们先计算j到样本库中每个图像i的距离D(i,j)，如果D(T_j,j)是C种距离当中最小的，则认为样本j被正确识别。

多光谱人脸识别系统使用之前，需要在数据存储模块中建立标准人脸数据库，主要包括在档人员的标准多光谱人脸特征库以及个人信息、预识别信息等，其中个人信息应包括姓名、性别、年龄等，以助于识别结果的查询与监控。另外，识别系统搭建完成之后，还需使用高精度光谱仪采集标准板在系统所处环境中的几种典型场景下的光谱数据，包括强光照、弱光照以及室内光照等条件，并存入数据存储模块。标准光谱数据用于多光谱人脸光谱曲线的反演与校正，使识别过程不受光照等其他环境条件改变的影响。需要注意的是，数据库中所存标准数据都必须定期更新。

系统使用时，当检测到有访问者进入监控区域，后台控制系统自动控制图像采集模块中的电可调协滤光片以及高增益相机以采集受访者的多光谱人脸图像；图像数据经多路采集卡传递给主控计算机系统；后端计算机系统通过人脸识别模块完成人脸特征提取，通过与数据存储模块中的标准人脸图像库交换对比完成最终的识别功能，输出识别结果。

Claims (2)

1.一种多光谱人脸识别方法，其特征在于步骤如下：

步骤1：从多光谱人脸图像上提取五个区域：头发、前额、左脸颊、右脸颊和嘴唇；

步骤2：进入探测器的辐射强度Lg与反射率R之间有线性关系：Lg＝k×R+b，根据反演模型：

$k=\frac{\mathrm{N\&Sigma;}\left({\mathrm{DN}}_i{R}_i\right)-\mathrm{\&Sigma;}{\mathrm{DN}}_i\mathrm{\&Sigma;}{R}_i}{\mathrm{N\&Sigma;}{R_i}^2-{\left(\mathrm{\&Sigma;}{R}_i\right)}^2}$

$b=\frac{\mathrm{\&Sigma;}\left({\mathrm{DN}}_i{R}_i\right)-\mathrm{k\&Sigma;}{R_i}^2}{\mathrm{\&Sigma;}{R}_i}$

上式中，DN_i为图像上的一样本区域的灰度值，R_i为光谱仪所得的对应区域光谱反射率，N为样本区域内的像素数，求和对N个点求和；

通过最小二乘法计算多光谱人脸图像的光谱反射率和灰度的关系参数k，b；

步骤3

求取头发区域的光谱反射率：对于每个人脸头发区域，先进行经验线性法反演，根据灰度DN_hi得到反射率数据：R_h(x,y,λ_i)＝(DN_hi(x,y,λ_i)-b)/k，通过得到光谱反射率向量R_h＝(R_h(λ₁),R_h(λ₂),...R_h(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸头发方块区域内所有像素求和；

求取前额区域的光谱反射率：对于每个人脸前额区域，先进行经验线性法反演，根据灰度DN_fi得到反射率数据：R_f(x,y,λ_i)＝(DN_fi(x,y,λ_i)-b)/k，通过得到光谱反射率向量R_f＝(R_f(λ₁),R_f(λ₂),...R_f(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸前额方块区域内所有像素求和；

求取左脸颊区域的光谱反射率：对于每个人脸左脸颊区域，先进行经验线性法反演，根据灰度DN_lci得到反射率数据R_lc(x,y,λ_i)＝(DN_lci(x,y,λ_i)-b)/k，通过

得到光谱反射率向量R_lc＝(R_lc(λ_i),R_lc(λ_i),...R_lc(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸左脸颊方块区域内所有像素求和；

求取右脸颊区域的光谱反射率：对于每个人脸右脸颊区域，先进行经验线性法反演，根据灰度DN_rc得到反射率数据

通过

得到光谱反射率向量R_rc＝(R_rc(λ₁),R_rc(λ₂),...R_rc(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸右脸颊方块区域内所有像素求和；

求取嘴唇区域的光谱反射率：对于每个人脸嘴唇区域，先进行经验线性法反演，根据灰度DN_li得到反射率数据R_l(x,y,λ_i)＝(DN_li(x,y,λ_i)-b)/k，通过

得到光谱反射率向量R_l＝(R_l(λ₁),R_l(λ₂),...R_l(λ_1n))^T；其中，R(x,y,λ_i)是λ_i的波段、像素(x,y)处的反射率，I_n为波段数，对所选人脸嘴唇方块区域内所有像素求和；

步骤4：对各个区域的光谱分别采用包络线消除法分析光谱。设光谱曲线数组为R(i),i＝0,1,2,...k-1，波长数组为W(i),i＝0,1,2...k-1，具体步骤如下：

步骤a：i＝0,将R(i)、W(i)带入包络线节点列表；

步骤b：求新的包络线节点，如果i＝k-1,结束；否则，令j＝i+1,继续循环；

步骤c：检查直线(i,j)与光谱曲线W(i)的交点，如果j＝k-1，结束，将R(i)、W(i)加入到包络线节点表中，否则：

1）m＝j+1

2）如果m＝j-1完成检查，j是包络线上的节点，将R(i)、W(i)加入到包络线节点表中，i＝j，转到步骤b；

3）求直线(i,j)和光谱曲线W(i)的交点r1(m)；

4）如果R(m)＞r1(m，则j不是包络线上的点，j＝j+1,转到步骤c；如果R(m)<r1(m)；则直线(i,j)与光谱曲线W(i)最多有一交点，m＝m+1,转到2）；

步骤d：得到包络线节点表后，将相邻的节点用直线段依次相连接，求出W(i)所对应的折线段上的点的函数值H(i)i＝0,1,2,...k-1，从而得到该光谱曲线,的包络线，显然有H(i)＞R(i)；

步骤e：对光谱曲线进行包络线消除：R_u(i)＝R(i)/H(i),i＝0,1,2,3,...k-1，从而得到包络线消除后的光谱曲线R_u(i)；

步骤5：对每个区域分别计算SAI，

$\mathrm{SAI}=\frac{{\mathrm{dR}}_{S1}+(1-d)R_{S2}}{R_M},$

其中：中心波长M为反射率曲线上极小值点对应的波长位置；R_S1、λ_S1为反射率曲线上吸收左肩端S1的反射率和波长位置；R_M、λ_M为反射率曲线上吸收点M的反射率和波长位置；R_S2、λ_S2为反射率曲线上吸收右肩端S2的反射率和波长位置；反射率曲线上吸收右肩端与吸收左肩端的波长差为吸收宽度W＝λ_S2-λ_S1；反射率曲线上光谱吸收深度D＝|1-R_M|；

步骤6：计算上述5个区域的组织类型t处人脸样本i到样本j的距离，通过马氏距离来定义： ${D_t}^{\&prime;}(i,j)={({\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(i\right)-{\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(j\right))}^T{\mathrm{\&Sigma;}}_t^{-1}({\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(i\right)-{\stackrel{\&OverBar;}{\mathrm{SAI}}}_t\left(j\right))$

人脸样本i到样本j的距离为

D(i,j)＝ω_fD_f(i,j)+ω_lcD_lc(i,j)+ω_rcD_rc(i,j)+ω_hD_h(i,j)+ω_lD_l(i,j)上式各个权值ω根据相应的区域在图像中可见或不可见取1或0；

步骤7：对于每个样本来说，∑t是对应向量

的协方差阵，维数为I_n；整个数据库每个组织类型t取一个协方差阵∑t。我们通过每个波段对应的方差生成的对角阵Lt来近似∑t；

步骤8：假设有C类样本，对于训练样本j，测试样本库中与其同类的定义为T_j。我们先计算j到样本库中每个图像i的距离D(i,j)，如果D(T_j,j)是C种距离当中最小的，则认为样本j被正确识别。

2.一种实现权利要求1所述多光谱人脸识别方法的系统，其特征在于包括多光谱成像系统、彩色相机、人脸识别模块、数据存储模块、中心控制模块和光谱仪；多光谱成像系统将拍摄的人脸图像数据输出至人脸识别模块，人脸识别模块根据数据存储模块中的标准人脸数据库的信息进行识别，然后将识别的结果进行输出；中心控制模块控制多光谱成像系统的图像摄取和人脸识别模块的识别；所述多光谱成像系统包括物镜（6）、液晶可调滤光片（3）和CCD相机（5）；在CCD相机（5）的CCD镜头前设有液晶可调滤光片（3），液晶可调滤光片（3）的前端设有物镜（6）。

Images