CN101567044A - 一种人脸图像质量检测方法 - Google Patents

Abstract

本发明公开了一种人脸图像质量检测方法，属于图像处理技术领域。本发明方法包括：对原始人脸图像P作LBP处理得到LBP图像LBP(P)；由LBP(P)中左右脸的直方图评价P的对称性；由所述LBP(P)作LBP逆处理得到重建图像R；由P和R评价P的光照强度和对比度；另外，由P通过图像的梯度值评价P的清晰度。上述四种评价方式可单独使用，也可赋予各自的权重计算加权和同时使用。本发明方法可用于在图像处理中检测采集图像的质量。其优势体现在：完全忽略光照影响，充分表现人脸的姿态变化、光照强度、对比度等。

Description

一种人脸图像质量检测方法

技术领域

本发明涉及人脸识别，尤其涉及一种在人脸识别过程中，对待识别的人脸图像的质量进行检测的方法，属于图像处理技术领域。

背景技术

人脸图像质量评价的作用

在人脸识别系统中，待识别图像的质量严重影响系统匹配的精度。图像质量既包括图像本身的全局特性如亮度、对比度、分辨率等，也包括和人脸特征相关的属性，比如人脸图片中人脸的姿态、非对称光照等。低质量的图片可能是引起系统匹配错误的主要原因，也直接导致了很多系统无法在实际中使用。

人脸图像质量评估系统可以有效地改善由于输入图像质量过低引起的系统错误，它可以监视采集设备的输出图像和注册识别算法输入图像的质量。

图1给出了一个加入图像质量评估系统后的人脸识别系统框图，图像首先经过预处理并进行质量评估，当图像质量高于一定门限时才会被送到识别系统中进行识别，否则图像将被丢弃。

加入图像质量评估系统，可以带来如下好处：

(1)这种方式可以在某种程度上预防系统错误，对于大数据生物数据库还可以有效的节省匹配的时间。

(2)在某些安全场合，当一些人比如罪犯故意不愿被系统识别的时候，质量评估系统可以给出报警。

(3)人脸图像的质量分数也可以用来辅助识别算法，比如，当图像质量较低的时候，系统可以自适应的降低匹配的阀值。

现有的人脸图像质量评价方法

图像质量评价法可以分为客观评价和主观评价。

客观评价是用复原图像与原始图像的误差来衡量复原图像的质量，主要方法有方差、平均梯度、信息熵、均方误差(MSE)、峰值信噪比(PSNR)等。方差、平均梯度和信息熵三种都是对单幅图像自身进行的，主要反映受检图像自身的绝对质量。而对诸如复原、压缩、传输等过程中结果图像与原始图像间的相对质量评价一般采用均方误差和峰值信噪比。但用它们所求得的结果常与人们主观视觉效果不一致。

主观评价方法就是让观察者根据一些事先规定的评价尺度或自己的经验，对测试图像按视觉效果提出质量判断，并给出质量分数，所有观察者给出的分数进行加权平均，所得的结果即为图像的主观质量评价。

对人脸图像质量评估算法而言，输入是一幅人脸图像I，输出是相应的质量分数Q(I)，质量分数可以是一个标量或者向量。

LBP算子

原始的LBP算子是处理灰度伸缩和旋转不变的纹理分类的有效方法。对于图像中的每个像素，首先以该像素灰度值作为阈值，对其周围的8个相邻像素进行0，1编码(灰度大于等于该阈值为1，否则为0)，得到一个长度为8的二进制串，从而将该二进制串作为该像素的编码，如图2所示。

由于LBP图像并不包含原始图像的任何灰度信息，并且整个图像的平均亮度也是未知的，因此可以由LBP图像来估算原始图像得到重建图像。通过估算出每一个像素灰度的可能的最大值，然后估算出其可能的最小值，然后使用平均值来代表此点像素的灰度。就整体而言，图像重建过程中，得到像素灰度最大的重建图像R_max和像素灰度最小的重建图像R_min，最终得到的重建图像R是R_max和R_min的平均值。

假设原始图像为P，P经过LBP变换后得到的图像为LBP(P)，LBP(P)经过LBP逆变换得到的重建图像为R，则LBP重建的思路如下：

1.对原始图像P做LBP变换得到LBP图像LBP(P)。

2.根据LBP(P)计算灰度最大的重建图像R_max：

将R_max的所有像素的灰度预设为255；

对于每个像素，将其灰度由255以逐一减小，直到该像素的LBP编码等于LBP(P)中该像素的LBP编码为止，此时的灰度就是该像素点的最大灰度；

确定所有像素点的最大灰度后得到的图像即为灰度最大的重建图像R_max。

3.根据LBP(P)计算重建灰度最小的重建图像R_min：

首先将R_min的所有像素的灰度预设为0；

对于每个像素，将其灰度由0逐一增大，直到该像素的LBP编码等于LBP(P)中该像素的LBP编码为止，此时的灰度就是该像素点的最小灰度；

确定所有像素点的最小灰度后得到的图像即为灰度最小的重建图像R_min。

4.得到重建图像R， $R=\frac{R_{\max }+R_{\min }}{2}.$

发明内容

本发明的目的在于克服现有技术中存在的问题，提出一种人脸图像质量检测方法。

本发明通过以下指标检测人脸图像质量。

对称性

光照和姿态变化是导致目前大多数人脸识别系统性能下降的主要原因。本发明使用人脸对称性来评估由非对称光照和不正确的姿态带来的图片质量问题。人脸对称性可以基于一些图像局部特性来分析，可以对原始像素或者经过局部滤波以后的图像进行分析，因为局部滤波器可能更适合计算人脸的对称性。由光照和姿态变化引起的左右半边人脸的图像特征差异可以作为人脸图像不对称的一个局部度量。如果人脸图像是严格对称的，左右半边图像特征的差异为0。

为了更有效的表示左右半边人脸对称性的差异，本发明通过在人脸图像(P)的LBP图像(LBP(P))上，左右脸的局部直方图(H^l和H^R)的距离来度量人脸非对称性，由于对齐存在一定的偏差，直方图距离比单纯的像素对比更能很好的表示左右脸的非对称性。直方图距离由下式表示：

${\mathrm{\χ}}^2(H^l,H^r)=\underset{i}{\mathrm{\Σ}}\frac{{(H_i^l-H_i^r)}^2}{H_i^l+H_i^r}$

上述“对称性”评价基于LBP(P)，而下述“光照强度”和“对比度”评价标准则基于重建图像R。采用R的理由如下：

一幅灰度图像可以由其模式信息、对比度信息和灰度的平均值表示。由LBP复原出的图像R包含了原始图像的模式信息，而R的对比度信息和灰度平均值信息则是人为加入的。由于R具有原始图像的模式信息，并且有可控的对比度信息和灰度平均值信息，所以可以作为一种优秀的标准图像，用于原始图像的评价。

光照强度

光照强度质量分数用来评价光照强度是否过亮或过暗。该分数可通过对未作归一化的图像的灰度直方图来计算。在正常光照情形下，灰度直方图分布在一个较宽的区域中。在非常暗和非常亮的光照条件下，灰度直方图通常被压缩在直方图的一侧。而LBP重建图像的直方图却是集中在中间，假定H^R为经过LBP变换和LBP重建后的重建图像R的直方图，H^P为原始图像P的直方图。光照强度质量分数可由卡方来计算。

${\mathrm{\χ}}^2(H^R,H^P)=\underset{i}{\mathrm{\Σ}}\frac{{(H_i^R-H_i^P)}^2}{H_i^R+H_i^P}$

对比度

对比度涉及到图像整体特征。在图像质量评价中，可通过计算像素的值来完成。如下公式所示，其中，P(x，y)为原始图像P中位置为(x，y)的像素的灰度值，同理R(x，y)为LBP重建图像R中位置为(x，y)的像素的灰度值，L_P为原始图像P的灰度的平均值，M和N为图像的宽度和高度。

$C=L_P\sqrt{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{[P(x,y)-R(x,y)]}^2}$

清晰度

和上述三个指标不同，清晰度基于原始图像P。清晰度是指在人脸图像区域内大尺度和小尺度两方面具有的清晰程度，采用图像的梯度值来计算清晰度。如下公式所示，其中G_P(x，y)表示原始图像P在点(x，y)处的梯度值。

$G=\underset{x=0}{\overset{M-2}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-2}{\mathrm{\Σ}}}{G}_P(x,y)$

图像总体质量

上述四个指标可以根据情况单独使用，或选择其中的一个或多个组合使用。特别地，当组合使用多个指标时，还可使用“总质量分数”来整体评价一个人脸图像。各个因素的质量法分数可以通过不同的方式结合在一起，组成最终的总体质量分数，一个简单而又实用的方法是使用加权和。如下公式所示，

$\mathrm{Score}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\α}{S}_i$

其中， $\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\α}=1,$ α是归一化以后的各个质量分数的权值，在某些情况下，α也可以是矢量。

和现有技术相比，本发明的优势在于：

1.主观评价使用LBP算子，完全忽略了光照的影响，充分表现了人脸的姿态变化；

2.客观评价采用LBP重建图像作为标准图像，该标准图像保留了人脸的姿态变化，且能充分表达人脸图像的光照强度，对比度等。

附图说明

图1表示人脸识别系统流程示意图；

图2表示LBP处理示意图；

图3a表示进行人脸图像质量评价的原始图；

图3b表示图3a的LBP图；

图3c，d表示图3b的LBP图中左右脸的直方图。

具体实施方式

下面通过具体实施例结合附图对本发明作进一步描述。

实施例1

本实施例实现对人脸图像的质量检测，包括下列步骤：

a)对原始人脸图像P(图3a)作LBP处理得到LBP图像LBP(P)(图3b)；

b)由所述LBP(P)得到左右脸的直方图H^l(图3c)和H^R(图3d)，计算 ${\mathrm{\χ}}^2(H^l,H^r)=\underset{i}{\mathrm{\Σ}}\frac{{(H_i^l-H_i^r)}^2}{H_i^l+H_i^r},$ 若x²(H^l，H^r)的值在设定的阈值范围内，则P的质量符合要求；否则，P的质量不符合要求，

c)由LBP(P)作LBP逆处理得到重建图像R；

d)由所述P和R计算 ${\mathrm{\χ}}^2(H^R,H^P)=\underset{i}{\mathrm{\Σ}}\frac{{(H_i^R-H_i^P)}^2}{H_i^R+H_i^P},$ 若x²(H^R，H^P)在设定的阈值范围内，则所述人脸图像的质量符合要求；否则，P的质量不符合要求

其中，H^R表示R的直方图，H^P表示P的直方图。

e)由所述P和R计算 $C=L_P\sqrt{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{[P(x,y)-R(x,y)]}^2},$ 若C在设定的阈值范围内，则所述人脸图像P的质量符合要求；否则，P的质量不符合要求，

其中，P(x，y)表示P中位置为(x，y)的像素的灰度值，R(x，y)表示R中位置为(x，y)的像素的灰度值，L_P表示P的灰度平均值，M和N表示P的宽度和高度。

f)由所述P计算 $G=\underset{x=0}{\overset{M-2}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-2}{\mathrm{\Σ}}}{G}_P(x,y),$ 若G在设定的阈值范围内，则所述人脸图像P的质量符合要求；否则，P的质量不符合要求，

其中G_P(x，y)表示P在点(x，y)处的梯度值，M和N分别表示P的宽度和高度。

实施例2

本实施例对来自实时图像捕捉设备的人脸图像进行质量检测，包括下列步骤：

a)对原始人脸图像P作LBP处理得到LBP图像LBP(P)；

b)由所述LBP(P)得到左右脸的直方图H^l和H^R，计算 ${\mathrm{\χ}}^2(H^l,H^r)=\underset{i}{\mathrm{\Σ}}\frac{{(H_i^l-H_i^r)}^2}{H_i^l+H_i^r};$

c)由所述LBP(P)作LBP逆处理得到重建图像R；

d)由所述P和R计算 ${\mathrm{\χ}}^2(H^R,H^P)=\underset{i}{\mathrm{\Σ}}\frac{{(H_i^R-H_i^P)}^2}{H_i^R+H_i^P},$ 其中，H^R表示R的直方图，H^p表示P的直方图；

e)由所述P和R计算 $C=L_P\sqrt{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{[P(x,y)-R(x,y)]}^2},$ 其中，P(x，y)表示P中位置为(x，y)的像素的灰度值，R(x，y)表示R中位置为(x，y)的像素的灰度值，L_P表示P的灰度平均值，M和N分别表示P的宽度和高度；

f)由所述P计算 $G=\underset{x=0}{\overset{M-2}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-2}{\mathrm{\Σ}}}{G}_P(x,y),$ 其中G_P(x，y)表示P在点(x，y)处的梯度值，M和N分别表示P的宽度和高度；

g)计算Score＝[(1/8)·x²(H^l，H^r)]+[(1/4)·x²(H^R，H^P)]+[(1/4)·C]+[(3/8)·G]，若Score在设定的阈值范围内，则所述人脸图像P的质量符合要求；否则，P的质量不符合要求。

Claims (5)

1.一种人脸图像质量检测方法，包括下列步骤：

a)对原始人脸图像P作LBP处理得到LBP图像LBP(P)；

b)由所述LBP(P)得到左右脸的直方图H^l和H^R，计算 ${\mathrm{\χ}}^2(H^l,H^r)=\underset{i}{\mathrm{\Σ}}\frac{{(H_i^l-H_i^r)}^2}{H_i^l+H_i^r},$ 若χ²(H^l，H^r)在设定的阈值范围内，则所述人脸图像P的质量符合要求。

2.如权利要求1所述的方法，其特征在于，所述步骤a)之后还包括步骤：

c)由LBP(P)作LBP逆处理得到重建图像R；

d)由所述P和R计算 ${\mathrm{\χ}}^2(H^R,H^P)=\underset{i}{\mathrm{\Σ}}\frac{{(H_i^R-H_i^P)}^2}{H_i^R+H_i^P},$ 若χ²(H^R，H^P)在设定的阈值范围内，则所述人脸图像的质量符合要求；其中，H^R表示R的直方图，H^P表示P的直方图。

3.如权利要求1所述的方法，其特征在于，所述步骤a)之后还包括步骤：

c)由LBP(P)作LBP逆处理得到重建图像R；

e)由所述P和R计算 $C=L_P\sqrt{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{[P(x,y)-R(x,y)]}^2},$ 若C在设定的阈值范围内，则所述人脸图像P的质量符合要求；其中，P(x，y)表示P中位置为(x，y)的像素的灰度值，R(x，y)表示R中位置为(x，y)的像素的灰度值，L_P表示P的灰度平均值，M和N表示P的宽度和高度。

4.如权利要求1所述的方法，其特征在于，所述步骤a)之后还包括步骤：

f)由所述P计算 $G=\underset{x=0}{\overset{M-2}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-2}{\mathrm{\Σ}}}{G}_P(x,y),$ 若G在设定的阈值范围内，则所述人脸图像P的质量符合要求；其中G_P(x，y)表示P在点(x，y)处的梯度值，M和N分别表示P的宽度和高度。

5.一种人脸图像质量检测方法，包括下列步骤：

a)对原始人脸图像P作LBP处理得到LBP图像LBP(P)；

b)由所述LBP(P)得到左右脸的直方图H^l和H^R，计算 ${\mathrm{\χ}}^2(H^l,H^r)=\underset{i}{\mathrm{\Σ}}\frac{{(H_i^l-H_i^r)}^2}{H_i^l+H_i^r};$

c)由所述LBP(P)作LBP逆处理得到重建图像R；

d)由所述P和R计算 ${\mathrm{\χ}}^2(H^R,H^P)=\underset{i}{\mathrm{\Σ}}\frac{{(H_i^R-H_i^P)}^2}{H_i^R+H_i^P},$ 其中，H^R表示R的直方图，H^P表示P的直方图；

e)由所述P和R计算 $C=L_P\sqrt{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{[P(x,y)-R(x,y)]}^2},$ 其中，P(x，y)表示P中位置为(x，y)的像素的灰度值，R(x，y)表示R中位置为(x，y)的像素的灰度值，L_P表示P的灰度平均值，M和N分别表示P的宽度和高度；

f)由所述P计算 $G=\underset{x=0}{\overset{M-2}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-2}{\mathrm{\Σ}}}{G}_P(x,y),$ 其中G_P(x，y)表示P在点(x，y)处的梯度值，M和N分别表示P的宽度和高度；

g)计算 $\mathrm{Score}=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i{S}_i,$ 若Score在设定的阈值范围内，则所述人脸图像P的质量符合要求；其中S_i表示所述计算值χ²(H^l，H^r)、χ²(H^R，H^P)、C和G中的一项，α_i表示所述各个S_i的权重，且 $\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\α}=1.$

Images