CN101425137A - 基于拉普拉斯金字塔的人脸图像融合方法 - Google Patents

Abstract

本发明涉及一种基于拉普拉斯金字塔的人脸图像融合方法，本发明在基于拉普拉斯金字塔分解的基础上，将改进的局部二值模式算子应用于融合规则，对于拉普拉斯金字塔各层的红外和可见光人脸图像，利用图像的平均梯度、图像直方图的标准差和Chi平方统计相似性测度来决定红外和可见光图像各自加权系数的选择，并利用确定的加权系数进行有效融合，从而得到细节信息丰富、清晰稳定、便于人眼观察的融合图像。与可见光图像和近红外图像相比较，本发明提供的融合图像的信息熵更大，平均交叉熵和均方根交叉熵更小，融合图像的效果更明显。

Description

基于拉普拉斯金字塔的人脸图像融合方法

技术领域

本发明涉及一种基于拉普拉斯金字塔的人脸图像融合方法，属于人脸识别技术。

背景技术

在某些情况下，可见光传感器采集的图像会严重受到光照条件的影响，这给图像的进一步处理和分析造成了很大的不便，例如人脸检测和识别。而近红外传感器采集的图像有对光照影响不敏感的优点。因此可以应用多传感器图像融合技术在一定程度上消除光照对于图像的影响。

随着新的图像传感器技术的发展，多传感器图像融合技术也得到了蓬勃的发展。至今为止，出现了许多性能优良的融合技术，如简单加权融合技术，基于主分量分析的融合技术，假彩色融合技术，基于神经网络的融合技术和多分辨率分解融合技术等。其中多分辨率融合技术处于佼佼者的地位。

作为一种新兴的图像处理技术，多传感器图像融合技术涉及了多个领域，例如模式识别，人工智能，图像处理等各个方面。并因为其强大的图像处理功能在遥感，计算机视觉，医学图像处理和军事方面有着广阔的应用前景。虽然利用两幅或多幅图像进行图像融合的技术已经取得显著得成果，但是如何得到更精确、更清晰稳定、带有更多有用信息的图像仍然是多传感器图像融合技术亟待解决的问题。

发明内容

本发明的内容在于建立一种基于拉普拉斯金字塔的人脸图像融合方法，用于获得一幅高清晰度、便于人眼观察、对光照鲁棒性好的图像，为直接应用或者进一步的处理提供优秀的图像源。为了达到上述目的，本发明的技术解决方案提供了一种基于拉普拉斯金字塔的人脸图像融合方法，本发明在基于拉普拉斯金字塔分解的基础上，将改进的局部二值模式(Local Binary Pattern，简称LBP)算子应用于融合规则，从而对红外和可见光人脸图像进行有效融合得到细节信息丰富、清晰稳定、便于人眼观察的融合图像。如图1所示，该方法包含如下步骤：

步骤一：分别用近红外摄像头和可见光摄像头采集近红外人脸图像和可见光人脸图像；

步骤二：拉普拉斯金字塔分解；

将步骤一得到的近红外人脸图像和可见光人脸图像分别进行拉普拉斯金字塔分解；

步骤三：融合近红外人脸图像和可见光人脸图像；

基于局部二值模式，即基于简称为LBP算子的融合规则，将从步骤二中得到的近红外拉普拉斯金字塔人脸图像和可见光拉普拉斯金字塔人脸图像进行融合；

步骤四：逆拉普拉斯金字塔分解；

将从步骤三中得到的融合结果进行逆拉普拉斯金字塔分解，得到融合人脸图像；

步骤五：融合人脸图像输出；

将从步骤四中得到的融合人脸图像输出。

本发明的优点在于：

(1)在基于拉普拉斯金字塔分解基础上，将改进的局部二值模式(Local BinaryPattern，简称LBP)算子应用于融合规则；

(2)对红外和可见光人脸图像进行有效融合可以得到细节信息丰富，清晰稳定，便于人眼观察的融合图像；

(3)与可见光图像和近红外图像相比较，融合图像的信息熵更大，而平均交叉熵和均方根交叉熵更小，融合图像的效果就更明显。

附图说明

图1为本发明基于拉普拉斯金字塔的人脸图像融合方法示意图；

图2为本发明采用的LBP算子的不变一致性模式；

图3为本发明与现有技术的实验效果对比图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细说明。

图1所示为本发明基于拉普拉斯金字塔的人脸图像融合方法示意图，本发明所述方法包含如下步骤：

步骤一：分别用近红外摄像头和可见光摄像头采集近红外人脸图像和可见光人脸图像；

图像采集由一台近红外摄像头、一台可见光摄像头、一块图像采集卡和一台计算机来完成。近红外摄像头和可见光摄像头之间的距离经过调试确定之后，调整目标人物与摄像头之间的距离以获取两张像素上比较相近的图像，达到初步配准两幅图像的目的，之后再通过最大相关性原则对两幅图像进行精确配准并将其归一化为60乘60的大小。

步骤二：拉普拉斯金字塔分解；

将步骤一得到的近红外人脸图像和可见光人脸图像分别进行拉普拉斯金字塔分解，具体过程如下：

首先，构建高斯金字塔，以采集的图像为金字塔的第O层，第l层的图像通过对第l-1层图像进行隔行降采样获得，

$G_l=\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}\mathrm{\ω}(m,n)G_{l-1}(2i+m,2j+n)$

0<l≤N，0≤i<C_l，0≤j<R_l

其中，N为金字塔的总层数，C_l和R_l分别代表第l层金字塔的列数和行数，ω(m，n)称为权函数或者生成核，具体采用数值如下：

$\mathrm{\&omega;}(m,n)=\frac{1}{256}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]$

这个过程称为“REDUCE算子”，记做G_l＝REDUCE[G_l-1]，由于金字塔各层图像均为低通图像，故称之为“高斯金字塔”。

然后，由高斯金字塔构建拉普拉斯金字塔：

构建的关键步骤是对高斯金字塔的各层图像进行内插放大，该过程称为EXPAND算子，记做 $G_{l-1}^{*}=\mathrm{EXPAND}\left[G_l\right],$  具体计算步骤如下：

$G_{l-1}^{*}(i,j)=4\underset{m}{\mathrm{\&Sigma;}}\underset{n}{\mathrm{\&Sigma;}}{G}_l(\frac{2i+m}{2},\frac{2j+n}{2})$

最后，拉普拉斯金字塔的第l层图像由L_l＝G_l-EXPAND[G_l+1]获得。其中L_l为拉普拉斯金字塔的第l层图像，G_l和G_l+1分别为高斯金字塔第l和l+1层图像。

步骤三：融合近红外人脸图像和可见光人脸图像；

基于局部二值模式，即基于简称为LBP算子的融合规则，将从步骤二中得到的近红外拉普拉斯金字塔人脸图像和可见光拉普拉斯金字塔人脸图像进行融合；

融合方法设计如下：

首先，将要融合的同一层拉普拉斯金字塔图像的对应像素点扩展到5×5的区域，然后用旋转不变性的一致性模式LBP算子

对这个区域提取LBP特征，其中上标riu2代表旋转不变的一致性模式，下标8，1代表着以某像素为中心，在半径为1的范围内比较周围8个像素与该中心像素间的关系。

算子总共有256个模式，在这256个模式中一共有9类旋转不变的一致性模式，如图2所示。

除了采用图2所示的9个模式外，将其余的247个模式都归到第10类，得到一个1×10维的统计直方图向量，统计直方图向量的元素值代表各个类的总数。由于单纯的LBP值所能携带的信息量有限，并不能充分表达区域特征，因此在LBP值的基础上引入平均梯度的概念 $\mathrm{AG}=\frac{1}{8}\underset{p=0}{\overset{7}{\mathrm{\&Sigma;}}}|g_p-g_c|,$ 其中g_c为中心像素的灰度值，g_p为周围像素点的灰度值，将原有的1×10维统计直方图向量扩展到了1×11维统计直方图向量，并设定了一个Salience值 $S=\frac{\mathrm{AG}}{\mathrm{SD}}$ 来代表特征，其中AG为平均梯度，SD为图像直方图的标准差。至于两个向量间的匹配度，采用Chi平方统计相似性测度来测量，定义如下：

$M=\underset{i}{\mathrm{\&Sigma;}}w\frac{{(H_{1,i}-H_{2,i})}^2}{H_{1,i}+H_{2,i}},$ i＝0，1，....10，M代表了近红外图像统计直方图向量H_1，i和可见光图像统计直方图向量H_2，i的匹配程度，权值w在此处取值为1。

融合后的图像像素点的灰度值由红外和可见光图像对应像素点的灰度值加权得到F(i，j)＝ω₁IM₁(i，j)+ω₂IM₂(i，j)，其中F(i，j)为融合图像(i，j)点的灰度值，IM₁(i，j)和IM₂(i，j)分别为近红外和可见光相应像素点的灰度值，ω₁和ω₂为各自的权值。当M≥0.75时，存在较小的权值 ${\mathrm{\&omega;}}_{\min }=\frac{(M-a)}{2(1-a)}$ 和较大的权值ω_max＝1-ω_min，其中a＝0.75；其他情况ω_min＝0 and ω_max＝1。然后比较两个像素点的 $S=\frac{\mathrm{AG}}{\mathrm{SD}}$ 值，假设S1为近红外图像的Salience值，S2为可见光图像的Salience值，如果S1≥S2，则ω₁＝ω_max and ω₂＝ω_min，反之则ω₂＝ω_max and ω₁＝ω_min。遍历所有像素点之后，从而得到融合后的图像。

步骤四：逆拉普拉斯金字塔分解；

将从步骤三中得到的融合结果进行逆拉普拉斯金字塔分解，得到融合人脸图像。

步骤五：融合人脸图像输出；

将从步骤四中得到的融合人脸图像输出。

为了证明本发明所述方法的有效性，将发明所述方法与另外两种方法进行比较，一种是简单的选大方法，即将灰度值较大的像素点选为融合图像的相应像素点，另一种是经典的Burt方法，在Burt的方法中，先计算两幅图像对应的中心像素点3x3区域的局部能量，然后根据局部能量的匹配度来确定加权融合中的权值。并用信息熵，平均交叉熵和均方根交叉熵对三种方法进行定量比较。

如图3结果所示：(A)为可见光图像，(B)为近红外图像，(C)为单纯选大的融合图像，(D)为Burt方法的融合图像，(E)为本发明的方法。

下表1显示了定量比较的结果：

表1

 

融合方法	信息熵	平均交叉熵	均方根交叉熵
				选大方法	4.7362	0.23065	0.25941
Burt方法	4.8497	0.21599	0.24383
				本发明方法	4.8505	0.17476	0.22293

信息熵越大说明图像携带的有用信息含量就越多，而平均交叉熵和均方根交叉熵越小说明融合图像与可见光图像和近红外图像的关联就越小，融合的效果就越明显。从表1可见本发明方法的信息熵最大，而平均交叉熵和均方根交叉熵最小，因此本发明的方法要优于另外两种方法。

Claims (1)

1、基于拉普拉斯金字塔的人脸图像融合方法，该方法包括如下步骤：

步骤一：分别用近红外摄像头和可见光摄像头采集近红外人脸图像和可见光人脸图像；

图像采集由一台近红外摄像头、一台可见光摄像头、一块图像采集卡和一台计算机来完成；

首先，调试确定近红外摄像头和可见光摄像头之间的距离；

然后，调整目标人物与摄像头之间的距离，获取两张像素上比较相近的图像；

最后，通过最大相关性原则对两幅图像进行精确配准，并将其归一化为60乘60的大小；

步骤二：拉普拉斯金字塔分解；

将步骤一得到的近红外人脸图像和可见光人脸图像分别进行拉普拉斯金字塔分解，具体过程如下：

首先，构建高斯金字塔，以采集的图像为金字塔的第0层，第l层的图像通过对第l-1层图像进行隔行降采样获得，

$G_l=\underset{m}{\mathrm{\&Sigma;}}\underset{n}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(m,n)G_{l-1}(2i+m,2j+n)$

0<l≤N，0≤i<C_l，0≤j<R_l

其中，N为金字塔的总层数，C_l和R_l分别代表第l层金字塔的列数和行数，ω(m，n)称为权函数或者生成核，具体采用数值如下：

$\mathrm{\&omega;}(m,n)=\frac{1}{256}\begin{array}{c}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]\end{array}$

上述过程为REDUCE算子，记做G_l＝REDUCE[G_l-1]；上述金字塔为高斯金字塔；然后，由该高斯金字塔构建拉普拉斯金字塔；

构建的关键步骤是对高斯金字塔的各层图像进行内插放大，该过程称为EXPAND算子，记做 $G_{l-1}^{*}=\mathrm{EXPAND}\left[G_l\right]$ ，具体计算步骤如下：

$G_{l-1}^{*}(i,j)=4\underset{m}{\mathrm{\&Sigma;}}\underset{n}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(m,n)G_l(\frac{2i+m}{2},\frac{2j+n}{2})$

最后，拉普拉斯金字塔的第l层图像由L_l＝G_l-EXPAND[G_l+1]获得；其中Ll为拉普拉斯金字塔的第l层图像，G_l和G_l+1分别为高斯金字塔第l和l+1层图像；

步骤三：融合近红外人脸图像和可见光人脸图像；

基于局部二值模式，即基于简称为LBP算子的融合规则，将从步骤二中得到的近红外拉普拉斯金字塔人脸图像和可见光拉普拉斯金字塔人脸图像进行融合；

融合方法设计如下：

首先，将要融合的同一层拉普拉斯金字塔图像的对应像素点扩展到5×5的区域；

然后，用旋转不变性的一致性模式LBP算子

对这个区域提取LBP特征；其中，上标riu2代表旋转不变的一致性模式，下标8，1代表着以某像素为中心，在半径为1的范围内比较周围8个像素与该中心像素间的关系；

算子总共有256个模式，在这256个模式中一共有9类旋转不变的一致性模式；除了采用该9类旋转不变的一致性模式外，将其余的247个模式都归到第10类，得到一个1×10维的统计直方图向量，统计直方图向量的元素值代表各个类的总数；

在LBP值的基础上引入平均梯度的概念 $\mathrm{AG}=\frac{1}{8}\underset{p=0}{\overset{7}{\mathrm{\&Sigma;}}}|g_p-g_c|$ ；其中，g_c为中心像素的灰度值，g_p为周围像素点的灰度值，将原有的1×10维统计直方图向量扩展到了1×11维统计直方图向量，并设定了一个Salience值 $S=\frac{\mathrm{AG}}{\mathrm{SD}}$ 来代表特征，其中AG为平均梯度，SD为图像直方图的标准差；两个向量间的匹配度，采用Chi平方统计相似性测度来测量，其定义如下：

$M=\underset{i}{\mathrm{\&Sigma;}}w\frac{{(H_{1,i}-H_{2,i})}^2}{H_{1,i}+H_{2,i}};$

其中，i＝0，1，....10，M代表了近红外图像统计直方图向量H_1，i和可见光图像统计直方图向量H_2，i的匹配程度，权值w在此处取值为1；

融合后的图像像素点的灰度值由红外和可见光图像对应像素点的灰度值加权得到F(i，j)＝ω₁IM₁(i，j)+ω₂IM₂(i，j)；其中，F(i，j)为融合图像(i，j)点的灰度值，IM₁(i，j)和IM₂(i，j)分别为近红外和可见光相应像素点的灰度值，ω₁和ω₂为各自的权值；当M≥0.75时，存在较小的权值 ${\mathrm{\&omega;}}_{\min }=\frac{(M-a)}{2(1-a)}$ 和较大的权值ω_max＝1-ω_min，其中a＝0.75；其他情况ω_min＝0 and ω_max＝1；

接着，比较两个像素点的 $S=\frac{\mathrm{AG}}{\mathrm{SD}}$ 值；假设S1为近红外图像的Salience值，S2为可见光图像的Salience值，如果S1≥S2，则ω₁＝ω_maxand ω₂＝ω_min；反之，则ω₂＝ω_max and ω₁＝ω_min；

最后，在遍历所有像素点之后，得到融合后的图像；

步骤四：逆拉普拉斯金字塔分解；

将从步骤三中得到的融合结果进行逆拉普拉斯金字塔分解，得到融合人脸图像；

步骤五：融合人脸图像输出；

将从步骤四中得到的融合人脸图像输出。

Images