CN103295010B - 一种处理人脸图像的光照归一化方法 - Google Patents

Abstract

本发明公开了一种处理人脸图像的光照归一化方法，具体按照以下步骤实施：读入待处理人脸图像并对其取对数；计算阴影层图像；计算反射层图像并进行指数变换；选取样本图像并计算其直方图；对反射层图像采用直方图匹配法进行归一化处理，即得到待处理人脸图像经光照归一化方法矫正后的图像。采用边缘保持滤波器能够保持大尺度层上的特征信息；采用处于视觉最优区域的样本图像，使校正后的反射层图像的均值和方差能够处于视觉最优的区域，有利于后续的人脸识别系统，能够提高人脸识别的正确率，解决了现有光照不变特征提取的方法，使人脸识别时的特征信息受到了较大程度的损失，不利于后续的人脸识别的问题。

Description

一种处理人脸图像的光照归一化方法

技术领域

本发明属于数字图像处理技术领域，涉及一种处理人脸图像的光照归一化方法。

背景技术

可变光照条件下，比如阴影、过曝光与欠曝光情况下的人脸识别是人脸识别系统中的一个难题。在过去的十几年间，虽然提出了许多方法，但都有不尽人意的地方，大多数无法应用于实际需求。

对可变光照条件下的人脸图像进行光照处理的一类方法是直接进行光照校正，如灰度拉伸、Gamma校正、直方图均衡化以及直方图匹配等，这些方法由于没有考虑待处理图像的光照条件，因此，这类方法很难获得满意的处理结果。另一类方法是光照不变特征提取，即将人脸图像看成是由反映人脸细节的反射部分的小尺度特征和由光照组成的大尺度特征这两部分，然后提取小尺度的特征细节部分。典型的方法有基于图像梯度域的光照不敏感特征提取方法，基于高频子带信息的光照不敏感特征提取方法及各种基于子空间的方法，这些方法都能在一定的程度上能提取到不受光照变化影响的反映人脸细节信息的图像，但对光照的过渡抑制使人脸识别时的特征信息受到了较大程度的损失，不利于后续的人脸识别。

发明内容

本发明的目的是提供一种处理人脸图像的光照归一化方法，以解决现有光照不变特征提取的方法，使人脸识别时的特征信息受到了较大程度的损失，不利于后续的人脸识别的问题。

本发明采用的技术方案为，一种处理人脸图像的光照归一化方法，具体按照以下步骤实施：

步骤1，读入待处理人脸图像f(x,y)，并对其取对数得到

步骤2，计算阴影层图像

步骤3，计算反射层图像并进行指数变换得到

步骤4，选取样本图像g(x,y)，并计算其直方图H_g(i)；

步骤5，对反射层图像采用直方图匹配法进行归一化处理，即得到待处理人脸图像经光照归一化方法矫正后的图像r(x,y)。

本发明的特点还在于，

步骤1的具体方法为，设待处理的人脸图像为f(x,y)，其大小为m×n，对f(x,y)取对数变换，则得到其中

步骤2的具体方法为，

2.1）计算步骤1中得到的人脸图像在x方向上的差分：即为图像在水平方向上左右相邻像素的灰度值之差；

2.2）计算步骤1中得到的人脸图像在y方向上的差分：即为图像在垂直方向上上下相邻像素的灰度值之差；

2.3）按照式（1）计算矩阵A的各元素A_i,j，

$A_{i,j}=\left\{\begin{array}{cc}{-\mathrm{\λ}\left(\right|{\tilde{f}}_i^{\′}-{\tilde{f}}_j^{\′}{|}^{\mathrm{\α}}+\mathrm{\ϵ})}^{-1}& i\∈N_4\left(i\right)\\ 1-\underset{k\∈N_4\left(i\right)}{\mathrm{\Σ}}{A}_{i,k}& i=j\\ 0& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中，式（1）中的常数ε=0.00001，参数λ＞0，参数a为1.0～1.8；

2.4）将步骤1得到的和步骤2.3）得到的A，代入式则计算出阴影层图像

步骤3的具体方法为，将步骤1中得到的和步骤2中得到的代入式（2），

$\tilde{r}(x,y)=\tilde{f}(x,y)-\tilde{s}(x,y)---\left(2\right)$

则计算出独立于光照的反射层再对取指数变换即得到去除光照影响后的图像其中

步骤4的具体方法为，

4.1）选取处于视觉最优区域的样本图像g(x,y)，其整体灰度均值范围为100～20，局部区域均方差的平均值浮动范围为40～80；

4.2）求步骤4.1）中g(x,y)的亮度分布直方图H_g(i)，其具体方法为，一幅灰度级为[0,L]的数字图像g(x,y)，其归一化的直方图定义为离散函数H_g(i)，H_g(i)=n_i/n，i=0,1,…,L-1，其中，n_i是图像中灰度级为i的像素个数，n为该图像中像素的总数。

步骤5的具体方法为，

5.1）求出经步骤3得到的的亮度分布直方图i=0,1,…,L-1，其中，m_i是图像中灰度级为i的像素个数，m为该图像中像素的总数；

5.2）将步骤5.1）中的直方图与步骤4中求得的H_g(i)相匹配，即对步骤3得到的图像中像素的灰度值进行变换，使得变换后的图像r(x,y)的直方图与图像g(x,y)的直方图相同，r(x,y)即为步骤1中待处理人脸图像经光照归一化方法矫正后的图像。

步骤5.2）中灰度值变换的具体方法为，

设和r分别代表图像和r(x,y)的灰度级，令变换 $H\left(r\right)=\underset{i=0}{\overset{r}{\mathrm{\Σ}}}{H}_g\left(i\right),$ 则， $r=H^{-1}\left[T\left(\hat{r}\right)\right].$

本发明的有益效果是，采用边缘保持的滤波器估计人脸图像的光照分量，可以更好地保留人脸图像上的特征信息判别；采用基于直方图匹配的样本学习方法，使校正后的人脸图像具有亮度适中、层次分明的特点；同时，对反射层根据视觉最优准则选择的样本图像进行直方图匹配映射，使归一化后的图像具有最优的视觉质量，解决了现有光照不变特征提取的方法，使人脸识别时的特征信息受到了较大程度的损失，不利于后续的人脸识别的问题。

附图说明

图1是本发明一种处理人脸图像的光照归一化方法的流程图；

图2是本发明一种处理人脸图像的光照归一化方法实施例中的原始人脸图像；

图3是本发明一种处理人脸图像的光照归一化方法实施例中的样本图像；

图4是本发明一种处理人脸图像的光照归一化方法实施例中的经光照归一化方法校正后的人脸图像。

具体实施方式

下面通过附图和具体实施方式对本发明进行详细说明。

本发明提供了一种处理人脸图像的光照归一化方法，具体按照以下步骤实施：

步骤1，读入待处理人脸图像并对其取对数

设待处理的人脸图像为f(x,y)，其大小为m×n，对f(x,y)取对数变换得到其中

步骤2，计算阴影层图像

对于步骤1中得到的图像采用加权最小均方优化的边缘保持滤波器求其对应的阴影层图像使得一方面与输入图像尽可能接近，另一方面在小梯度处要尽可能平滑，即要求在保持原图像基本特征的情况下处处平滑，其具体计算过程如下：

2.1）计算步骤1中得到的人脸图像在x方向上的差分：即为图像在水平方向上左右相邻像素的灰度值之差；

2.2）计算步骤1中得到的人脸图像在y方向上的差分：即为图像在垂直方向上上下相邻像素的灰度值之差；

2.3）按照式（1）计算矩阵A的各元素A_i,j：

$A_{i,j}=\left\{\begin{array}{cc}{-\mathrm{\λ}\left(\right|{\tilde{f}}_i^{\′}-{\tilde{f}}_j^{\′}{|}^{\mathrm{\α}}+\mathrm{\ϵ})}^{-1}& j\∈N_4\left(i\right)\\ 1-\underset{k\∈N_4\left(i\right)}{\mathrm{\Σ}}{A}_{i,k}& i=j\\ 0& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中，式（1）中的常数ε=0.00001；参数λ＞0，λ用来控制图像的平滑程度，增大λ将产生更加平滑的图像参数a为1.0～1.8，a是用来控制平滑过程对对图像边缘的敏感程度；

表示沿x方向或y方向的差分，其具体方向由像素i的4邻域，即N₄(i)中的像素j所处的位置而定，如果i与j处于水平方向，则与表示沿x方向上像素i与像素j的差分；如果i与j处于垂直方向，则与表示沿y方向上像素i与像素j的差分；

2.4）将步骤1得到的和步骤2.3）得到的A，代入式则计算出阴影层图像

步骤3，计算反射层图像并进行指数变换

将步骤1中得到的和步骤2中得到的代入式（2），

$\tilde{r}(x,y)=\tilde{f}(x,y)-\tilde{s}(x,y)---\left(2\right)$

则计算出独立于光照的反射层再对取指数变换即得到去除光照影响后的图像其中

步骤4，选取样本图像并计算其直方图

4.1）选取处于视觉最优区域的样本图像g(x,y)，其整体灰度均值范围为100～20，局部区域均方差的平均值浮动范围为40～80；

4.2）求g(x,y)的亮度分布直方图H_g(i)；

具体方法为，一幅灰度级为[0,L]的数字图像g(x,y)，其归一化的直方图定义为离散函数H_g(i)，H_g(i)=n_i/n，i=0,1,…,L-1，其中，n_i是图像中灰度级为i的像素个数，n为该图像中像素的总数。

步骤5，对反射层图像采用直方图匹配法进行归一化处理

5.1）求步骤3中得到的的亮度分布直方图i=0,1,…,L-1，其中，m_i是图像中灰度级为i的像素个数，m为该图像中像素的总数；

5.2）通过步骤5.1）中的与步骤4中得到的H_g(i)相匹配，即对图像中像素的灰度值进行变换，使得变换后的图像r(x,y)的直方图与图像g(x,y)的直方图相同，r(x,y)即为步骤1中待处理人脸图像经光照归一化方法矫正后的图像；

灰度值变换的具体计算过程为，设和r分别代表图像和r(x,y)的灰度级，令变换 $T\left(\hat{r}\right)=\underset{i=0}{\overset{\hat{r}}{\mathrm{\Σ}}}{H}_{\hat{r}}\left(i\right),H\left(r\right)=\underset{i=0}{\overset{r}{\mathrm{\Σ}}}{H}_g\left(i\right),$ 则， $r=H^{-1}\left[T\left(\hat{r}\right)\right].$

实施例

步骤1，设一幅受光照影响的实际人脸灰度图像为f(x,y)，如图2所示，其大小为80×80像素，对其进行对数变换，得到

步骤2，计算阴影层图像

2.1）计算步骤1中得到的人脸图像f(x,y)在x方向上的差分图像：即为图像在水平方向上左右相邻像素的灰度值之差；

2.2）计算步骤1中得到的人脸图像在y方向上的差分：即为图像在垂直方向上上下相邻像素的灰度值之差；

2.3）计算矩阵A的各元素A_i,j如式（1）：

$A_{i,j}=\left\{\begin{array}{cc}{-\mathrm{\λ}\left(\right|{\tilde{f}}_i^{\′}-{\tilde{f}}_j^{\′}{|}^{\mathrm{\α}}+\mathrm{\ϵ})}^{-1}& j\∈N_4\left(i\right)\\ 1-\underset{k\∈N_4\left(i\right)}{\mathrm{\Σ}}{A}_{i,k}& i=j\\ 0& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

式（1）中的常数ε=0.00001，λ=1.5，a=1.2；表示沿x方向或y方向的差分，其具体方向由像素i的4邻域（N₄(i)）中的像素j所处的位置而定。如果i与j处于水平方向，则与表示沿x方向上像素i与像素j的差分；如果i与j处于垂直方向，则与表示沿y方向上像素i与像素j的差分；

2.4）根据计算阴影层图像

步骤3，计算反射层图像并进行指数变换

计算独立于光照的反射层其中再对反射层取指数变换得到去除光照影响后的图像其中

步骤4，选取样本图像并计算其直方图

4.1）选取样本图像g(x,y)，如图3所示，其均值为116.8，局部区域均方差的平均值为40.3；

4.2）求g(x,y)的亮度分布直方图H_g(i)，H_g(i)=n_i/n，i=0,1,…,L-1，其中，n_i是图像中灰度级为i的像素个数，n为该图像中像素的总数，L为图像灰度的级数。

步骤5，对反射层图像采用直方图匹配法进行归一化处理

求步骤3中得到的的亮度分布直方图 $H_{\hat{r}}\left(i\right),H_{\hat{r}}\left(i\right)=m_i/m,i=\mathrm{0,1},...,L-1,$ 其中，m_i是图像中灰度级为i的像素个数，m为该图像中像素的总数；

采用直方图匹配的方法，使直方图H_r(i)与H_g(i)相匹配，即对图像中像素的灰度值进行变换，其具体变换过程为：

设和r分别代表图像和r(x,y)的灰度级，令变换 $H\left(r\right)=\underset{i=0}{\overset{r}{\mathrm{\Σ}}}{H}_g\left(i\right),$ 则， $r=H^{-1}\left[T\left(\hat{r}\right)\right],$

最后，使得变换后的图像r(x,y)的直方图与图像g(x,y)的直方图相同，即r(x,y)为步骤1中待处理人脸图像经光照归一化方法矫正后的图像。

图4是经本实施例对图2处理后的得到人脸图像r(x,y)，图2的均值为91，局部区域均方差的平均值为58；图4的均值为117，局部区域均方差的平均值为44。从图2和图4的对比中可以看出，采用本发明方法校正后的人脸图像具有亮度适中、层次分明、图像特征细节信息丰富的特点。

本发明的一种处理人脸图像的光照归一化方法，采用边缘保持滤波器能够精准的将人脸图像分解为反射层和阴影层，同时在反射层中尽可能保持大尺度层上的特征信息；采用基于直方图匹配的样本学习方法，使校正后的人脸图像具有亮度适中、层次分明的特点；采用处于视觉最优区域的样本图像，使校正后的反射层图像的均值和方差能够处于视觉最优的区域，有利于后续的人脸识别系统，能够提高人脸识别的正确率，解决了现有光照不变特征提取的方法，使人脸识别时的特征信息受到了较大程度的损失，不利于后续的人脸识别的问题。

Claims (4)

1.一种处理人脸图像的光照归一化方法，其特征在于，具体按照以下步骤实施：

步骤1，读入待处理人脸图像f(x,y)，并对其取对数得到

步骤2，计算阴影层图像具体方法为：

2.1)计算步骤1中得到的人脸图像在x方向上的差分：即为图像在水平方向上左右相邻像素的灰度值之差；

2.2)计算步骤1中得到的人脸图像在y方向上的差分：即为图像在垂直方向上上下相邻像素的灰度值之差；

2.3)按照式(1)计算矩阵A的各元素A_i,j，

$A_{i,j}=\left\{\begin{array}{cc}-\mathrm{\λ}{\left(\right|{\tilde{f}}_i^{\′}-{\tilde{f}}_j^{\′}{|}^{\mathrm{\α}}+\mathrm{\ϵ})}^{-1}& j\∈N_4\left(i\right)\\ 1-\underset{k\∈N_4\left(i\right)}{\Σ}{A}_{i,k}& i=j\\ 0& otherwise\end{array}\right.---\left(1\right)$

其中，式(1)中的常数ε＝0.00001，参数λ＞0，参数α为1.0～1.8；

2.4)将步骤1得到的和步骤2.3)得到的A，代入式则计算出阴影层图像

步骤3，计算反射层图像并进行指数变换得到具体方法为：

将步骤1中得到的和步骤2中得到的代入式(2)，

$\tilde{r}(x,y)=\tilde{f}(x,y)-\tilde{s}(x,y)---\left(2\right)$

则计算出独立于光照的反射层再对取指数变换即得到去除光照影响后的图像其中 $\hat{r}(x,y)=\exp \left(\tilde{r}\right(x,y\left)\right);$

步骤4，选取样本图像g(x,y)，并计算其直方图H_g(i)；

步骤5，对反射层图像采用直方图匹配法进行归一化处理，即得到待处理人脸图像经光照归一化方法矫正后的图像r(x,y)，具体方法为：

5.1)求出经步骤3得到的的亮度分布直方图 i＝0,1,…,L-1，其中，m_i是图像中灰度级为i的像素个数，m为该图像中像素的总数；

5.2)将步骤5.1)中的直方图与步骤4中求得的H_g(i)相匹配，即对步骤3得到的图像中像素的灰度值进行变换，使得变换后的图像r(x,y)的直方图与图像g(x,y)的直方图相同，r(x,y)即为步骤1中待处理人脸图像经光照归一化方法矫正后的图像。

2.根据权利要求1所述的一种处理人脸图像的光照归一化方法，其特征在于，所述步骤1的具体方法为，设待处理的人脸图像为f(x,y)，其大小为m×n，对f(x,y)取对数变换，则得到其中

3.根据权利要求1所述的一种处理人脸图像的光照归一化方法，其特征在于，所述步骤4的具体方法为，

4.1)选取处于视觉最优区域的样本图像g(x,y)，其整体灰度均值范围为100～20，局部区域均方差的平均值浮动范围为40～80；

4.2)求步骤4.1)中g(x,y)的亮度分布直方图H_g(i)，其具体方法为，一幅灰度级为[0,L]的数字图像g(x,y)，其归一化的直方图定义为离散函数H_g(i)，H_g(i)＝n_i/n，i＝0,1,…,L-1，其中，n_i是图像中灰度级为i的像素个数，n为该图像中像素的总数。

4.根据权利要求1所述的一种处理人脸图像的光照归一化方法，其特征在于，所述步骤5.2)中灰度值变换的具体方法为：

设和r分别代表图像和r(x,y)的灰度级，令变换 $H\left(r\right)=\underset{i=0}{\overset{r}{\Σ}}{H}_g\left(i\right),$ 则， $r=H^{-1}\[T\left(\hat{r}\right)\].$