CN101539992B - 基于形态学商图像的多光照人脸识别方法 - Google Patents

Abstract

本发明一种基于形态学商图像的多光照人脸识别方法，该方法，首先估计出人脸各个位置的光照强度，包含光源强度和法向量信息，然后求出原始光照图像与光照估计图像之间的商值，得到人脸表面的反射率信息，即与光照条件无关的人脸纹理特征。因相除操作会在原来的阴影区域产生噪声点，噪声点与人脸纹理特征无关，所以对原始图像在光照估计前做预处理。估计光照采用形态学的闭操作方法，用最简便的矩形均值模板，模板的尺度大小采用动态原则，依不同局部区域特点，对模板大小进行自适应选取。最后对相除得到的商图像结果进行最近邻分类，距离准则采用归一化的相关性。本发明，提高了自动人脸识别系统的安全性，在生物特征识别领域具有重要的应用价值。

Description

基于形态学商图像的多光照人脸识别方法

技术领域

本发明涉及生物特征识别技术领域，特别涉及到利用形态学来处理不同光照条件下的人脸图像。

背景技术

由于人脸识别符合人们在生活中进行身份识别的习惯，而且人脸具有一定的稳定性和可靠性，人脸图像获取方便，设备成本低廉，人脸识别技术在现代社会中已经成为了一种重要的身份识别的手段。银行，海关，公安，家用安全设备等安全系统中都大量使用了人脸识别技术。另外，由于人脸图像的采集具有非接触的优点，使得其在视频监控中获得了广泛的应用。

然而，虽然随着科技的进步，人脸识别系统的性能在理想的环境下已经取得了很高的准备率，但是，各种外界因素对人脸识别系统的性能影响很大，尤其是光照条件的影响，使得不同个体的人脸图像的类间差别大于类内差别，从而导致了错误的识别个体的身份。因此，如果快速有效的解决多光照条件下的人脸识别问题，是目前人脸识别研究中的一个重点。

Georghiades等人在1998年提出了光照锥的算法，他们认为同一个个体从同一个视角，在不同光照条件下的形成的所有图像在空间中张成了一个锥形，即光照锥。只要对注册的所有个体的光照锥进行建模，那么就可以通过计算一幅给定的任意光照条件下的图像到各个光照锥之间的距离来决定给定图像中个体的身份。球面谐波的表示方法是由Basri和Jacobs提出来的，他们证明了一个凸的朗博表面在任意光照下的图像可以用九个谐波图像张成的线性子空间来近似。这些方法研究了同一人脸在不同光照条件下形成的图像的本质属性，但是不适合应用到实时的人脸识别中去，因为它们需要大量的训练图像来训练得到模型参数，而在实际应用中，往往只有一幅注册图像，无法得到满足需要的训练图像。

Shashua等人于2001年提出了商图像的概念，能够利用训练集合中的3幅的在特定光照条件下的人脸图像，合成任意输入的人脸在各种光照条件下的图像，但是该方法对图像的配准要求很高。自商图像的方法采用的是加权的高斯滤波器来对图像进行滤波，再将结果与原始图像相除，这种方法的缺点是会产生过补偿的区域。T.Chen等人提出了基于总变分的商图像方法，通过解决一个总变分问题来估计人脸图像中的光照，再求商得到与光照无关的信息。此方法最大的缺点是计算的时间复杂度很高，不适合应用到实时的人脸识别系统中去。

综合以上分析研究发现，目前国际上已有的人脸识别算法还未能真正快速有效的解决光照不均匀的问题。它们在识别准确率，处理的时间效率等方面还有改善的余地，因此研究开发新的处理多光照条件下的人脸识别算法在应用和学术上都有十分重要的意义。

发明内容

本发明的目的是公开一种基于形态学商图像的多光照人脸识别方法，针对影响人脸识别系统性能的外界光照问题，提出了基于形态学商图像的人脸识别算法，能够实时有效的对输入的多光照的人脸图像进行识别分类。

为达到上述目的，本发明的技术解决方案是：

一种基于形态学商图像的多光照人脸识别方法，其包括步骤：

(1)对原始的各种光照下的人脸图像进行预处理；

(2)采用动态模板的形态学闭运算方法，对预处理后的图像进行光照估计；

(3)将(1)步中预处理后的人脸图像与(2)步中估计的光照图像相除，得到的商图像即为与光照条件无关的人脸特征图像；

(4)对人脸进行最近邻分类。

所述的方法，其所述步骤(1)的预处理方法，是求出原始图像中每个点的形态学梯度：

g(x，y)＝(f(x，y)_b)-(f(x，y)！b)

其中，f(x，y)为原始图像上横坐标为x，纵坐标为y的点的灰度值，b为形态学模板，g(x，y)为计算得到的图像中坐标为(x，y)的点的形态学梯度的值；其中b为长宽相等的矩形模板，边长为人脸图像中眼球的直径；设定一个阈值δ，其取值范围为[6，10]；找出所有形态学梯度小于δ的点，并将在该点处以b为模板的灰度膨胀的值赋于该点。

所述的方法，其所述步骤(2)中的模板，为三种尺度大小的模板，通过计算各个点的局部特征值来决定所选取模板的大小。

所述的方法，其所述三种尺度大小的模板，都是长宽相等的矩形，其三种尺度的模板各自的边长长度呈等差数列，差值为2个象素单位，其中最小模板的边长长度为人脸图像中眼球的直径，其单位为象素数。

所述的方法，其所述步骤(2)中采用动态模板，是通过对图像中各个点的局部特征值设定两个阈值α和β(α＜β)，来决定在该点采用的模板尺度的大小。参数α的取值大小为0.6，参数β的取值大小为2.1。其方法为：

(1)计算该点的形态学梯度，采用的模板为长宽相等的矩形，边长为人脸图像中眼球的直径；

(2)计算该点的形态学梯度值与该点的灰度值相比的比值；

(3)将该比值与阈值α和β相比较，若小于α，则取最小的模板，若介于α和β之间，则取中等大小的模板，若大于β，则取最大的模板。

所述的方法，其所述步骤(4)中采用的距离测度是归一化的相关性。

本发明方法有效的解决了光照不均匀条件下人脸识别的问题，识别准确率高，能够快速的实现多光照条件下的人脸识别，并且只需要一幅注册图像，因此能够有效的应用到实时人脸识别系统中。

附图说明

图1本发明基于形态学商图像的多光照人脸识别方法中使用的模板示意图，其中一个单元格表示一个象素；

图2不同区域的模板大小选取示意图，其中：图(a)为原始的人脸图像，图(b)中黑色区域表示选用的是最大的模板，灰色区域表示选用的是中等大小的模板，白色区域表示选用的是最小的模板；

图3光照估计的结果示意图，其中：图(a)为原始图像，图(b)为对原始图像进行预处理，并且利用形态学的闭运算进行光照估计的结果；

图4进行预处理前后人脸图像结果的对比图，其中：图(a)表示的是对原始的人脸图像未经预处理，直接光照估计后，计算得到的商图像结果，图(b)表示的是对原始图像进行预处理以后，再估计光照，最后计算得到的商图像结果；

图5原始的光照图像和最后的处理结果之间的对比示意图，其中：图(a)表示的是原始的人脸图像，图(b)表示的是该原始图像进行预处理，光照估计，最后计算得到的商图像结果；

图6本发明基于形态学商图像的多光照人脸识别方法流程方框图。其中：_表示相乘操作，x^-1表示对输出取倒数。

具体实施方式

本发明的基于形态学商图像的多光照人脸识别方法，是根据朗博反射模型，人脸图像在某一点的灰度值由三个部分相乘的积来决定的：该点的表面反射率，该点的表面法向量方向，以及光源的方向和强度。由于分析的是二维人脸图像的识别，其中只有各点的表面反射率反映了人脸的本质特征，是进行进一步分类的依据，但是直接求解表面反射率难以实现，因此，先估计出人脸上各点的外界光照信息，也即表面法向量与光源的方向和强度的乘积，再通过将原始图像除以该估计出来的外界光照信息，就能得到进行特征分类所需要的人脸的本质特征，即表面反射率。

对原始的光照图像进行估计并不是简单的取图像的低频分量，因为对原图像进行局部光照估计的时候要求同时很好的保持原始图像中特征的清晰的边缘。而且，通过对非理想光照条件下的图像进行分析，阴影，明暗等外部特征一般都具有大尺度的特点，而眼睛，眉毛，鼻子，嘴巴等反映脸部本质属性的关键特征一般都具有小尺度的特点，因此，光照估计的算法还要具有很好的尺度选择特性，即对于不同尺度的特征，能够进行参数可控的有条件的选取。而形态学的闭操作具有上述的所有特点，它能够在处理后保持图像的边缘清晰，并且可以通过选取不同大小的模板来实现特征尺度的选择。

同自商图像算法和基于总变分的商图像算法一样，基于形态学商图像的光照处理算法也会在人脸的阴暗区域留下一些颗粒噪声。这是因为在原始图像中，阴暗区域的象素值的灰度大小远远小于明亮区域的象素值，而不论在阴暗区域还是明亮区域，都普遍存在一些微小的灰度变化，即使是在脸颊这样的平坦区域，于是在求商操作时，原本在阴暗区域存在的微小的灰度变化就会引起较大的灰度变化，造成在得到的商图像中原本阴暗的区域出现了一些颗粒噪声。这里，要依据形态学梯度的值来进行预处理，可以很好的消除或者大大的减少了处理过程中造成的颗粒噪声。

动态模板的选取依据是形态学梯度值与本身的象素灰度值之间的比值，目的是为了找出人脸图像中的关键特征区域和非关键特征区域。如果某点的形态学梯度值与该点的灰度值比值较大，那么说明该点灰度变化剧烈，很可能是眼睛等包含脸部重要特征的区域，则应该选择大的闭运算模板，使得在光照的估计中尽量平滑，从而能够在求商得到的图像中得到原图像的纹理信息；反之，如果某点的形态学梯度值与该点的灰度值比值较小，那么说明该点灰度变化平缓，很可能是脸颊等脸部平坦区域，则应该选择小的闭运算模板，使得在光照估计中尽量接近原始图像，从而能够在求商得到的图像中保持平滑。

在人脸分类中，只需要一幅注册图像，采用最近邻的原则对待匹配的图像进行相似度分类。最近邻原则采用的是归一化的相似度准则。

通过对算法性能的评估，发现在即使是在脸部光线变化非常剧烈的情况下，该算法也能够很好的得到人脸的本质特征信息，并且很少存在颗粒噪声的影响。而且，该算法所需要的时间复杂度非常低，能够快速的实现多光照条件下的人脸识别，并且只需要一幅注册图像，因此能够有效的应用到实时人脸识别系统中。

下面对本发明提出的基于形态学商图像的多光照人脸识别方法包含的各个步骤进行详细介绍。首先对要处理的人脸图像做一些假定：人脸的区域已经被切割出来，使得图像尽可能的少包含背景，头发等不稳定因素；所有的图像中的双眼的位置坐标都是固定的；所有的图像的长宽都已经调整到同样大小。

见图6，为本发明基于形态学商图像的多光照人脸识别方法流程方框图，方法详细的步骤如下：

1)对原始人脸图像I₁进行预处理得到I₂：

求解出原始图像中每个点的形态学梯度

g(x，y)＝(f(x，y)_b)-(f(x，y)！b)，

其中，f(x，y)为原始图像上横坐标为x，纵坐标为y的点的灰度值，b为形态学模板，g(x，y)为计算得到的图像中坐标为(x，y)的点的形态学梯度的值。其中b为长宽相等的均值矩形模板，边长为人脸图像中眼球的直径(单位为象素数)。图1所示的是边长为5(象素)，值大小为1的模板。

找出所有形态学梯度小于δ的点，并将该点处以b为模板的灰度膨胀的值赋于该点。

2)确定待选的闭运算模板：

一共确定3个可选的模板大小，这3个模板采用的都是长宽相等的均值矩形，且它们的边长的长度s，m，l呈等差数列，差值为2个象素单位，即m-s＝l-m＝2。其中最小的边长长度s为人脸图像中眼球的直径(单位为象素数)。

3)确定动态选取策略，对图像I₂进行动态闭运算，得到光照估计图像I₃：

首先对图像中的各个点计算局部特征值，然后通过设定两个阈值α和β(α＜β)，来决定在该点采用的模板尺度的大小。

步骤一：计算该点的形态学梯度，采用的模板为长宽相等的矩形，边长为人脸图像中眼球的直径。

步骤二：计算该点的形态学梯度值与该点的灰度值相比的比值。

步骤三：将该比值与阈值α和β相比较，若小于α，则取最小的模板，若介于α和β之间，则取中等大小的模板，若大于β，则取最大的模板。

用公式表述如下：

$\mathrm{DClose}(x,y)=\left\{\begin{array}{c}{\mathrm{Close}}^s(x,y),\mathrm{Value}(x,y)\&le;\mathrm{\&alpha;}\\ {\mathrm{Close}}^m(x,y),\mathrm{\&alpha;}<\mathrm{Value}(x,y)<\mathrm{\&beta;}\\ \mathrm{Closel}(x,y),\mathrm{Value}(x,y)\&GreaterEqual;\mathrm{\&beta;}\end{array}\right.$

其中 $\mathrm{Value}(x,y)=\frac{f(x,y)\&CirclePlus;b-f(x,y)!b}{f(x,y)}$

DClose(x，y)表示进行动态闭运算后在(x，y)处的值，Close^s(x，y)，Close^m(x，y)，Close^l(x，y)分别表示采用模板s，m和l进行闭运算后在(x，y)处的值。f(x，y)表示进行闭运算前的图像在(x，y)处的灰度值。

图2给出了不同的区域所采用的不同大小的模板的示例，其中黑色部分表示采用的最大的模板，灰色部分表示采用的是中等大小的模板，白色部分表示采用的是最小的模板。

4)进行商操作，得到人脸的特征图像I₄：

将预处理后的人脸图像I₂除以光照估计的图像I₃，结果如图5所示。

5)对人脸图像进行最近邻分类：

距离测度采用的是归一化的相关性，计算公式如下

$\mathrm{\&Phi;}(I_i,I_t)=\cos (\&angle;\&lang;I_i,I_t\&rang;)=\frac{I_i\&CenterDot;I_t}{\left|\right|I_i\left|\right|\left|\right|I_t\left|\right|}$

其中I_i和I_j表示两幅不同的人脸图像，Φ(I_i，I_j)表示求得的两幅图像之间的相关系数。

图3给出了算法进行光照估计的结果，图4给出了是否进行预处理的前后结果对比，图5给出了原始的光照图像和最后的处理结果的对比图像。结果表明该发明在进行局部光照估计，颗粒噪声的去除等方面都取得了很好的效果。

Claims (3)

1.一种基于形态学商图像的多光照人脸识别方法，其特征在于，包括步骤：

(1)对原始的各种光照下的人脸图像进行预处理，求出原始图像中每个点的形态学梯度：

$g(x,y)=(f(x,y)\&CirclePlus;b)-(f(x,y)!b)$

其中，f(x，y)为原始图像上横坐标为x，纵坐标为y的点的灰度值，b为形态学模板，运算符

为灰度膨胀操作，运算符！为灰度腐蚀操作，g(x，y)为计算得到的图像中坐标为(x，y)的点的形态学梯度的值；其中b为长宽相等的矩形模板，边长为人脸图像中眼球的直径，单位为象素；设定一个阈值δ，其取值范围为[6，10]；找出原始图像中所有形态学梯度小于δ的点，并将该点处以b为模板的灰度膨胀的值赋于该点；

(2)采用动态模板的形态学闭运算方法，对预处理后的图像进行光照估计，这里的模板为三种尺度大小的模板，所述动态模板，是通过对图像中各个点的局部特征值设定两个阈值α和β，其中：α＜β，来决定在该点采用的模板尺度的大小，其方法为：

(i)计算该点的形态学梯度，采用的模板为长宽相等的矩形，边长为人脸图像中眼球的直径；

(ii)计算该点的形态学梯度值与该点的灰度值相比的比值；

(iii)将该比值与阈值α和β相比较，若小于α，则取最小的模板，若介于α和β之间，则取中等大小的模板，若大于β，则取最大的模板；

(3)将(1)步中预处理后的人脸图像与(2)步中估计的光照图像相除，得到的商图像即为与光照条件无关的人脸特征图像；

(4)对人脸进行最近邻分类。

2.根据权利要求1所述的方法，其特征在于，所述三种尺度大小的模板，都是长宽相等的矩形，其三种尺度的模板各自的边长长度呈等差数列，差值为2个象素单位，其中最小模板的边长长度为人脸图像中眼球的直径，其单位为象素数。

3.根据权利要求1所述的方法，其特征在于，所述步骤(4)中采用的距离测度是归一化的相关性。

Images