CN106557729A - 用于处理人脸图像的设备和方法 - Google Patents

Abstract

提供了一种用于处理人脸图像的设备，包括：获取单元，被配置为获取人脸图像；估计单元，被配置为将人脸图像划分为若干区域，并估计所获取的每一区域内的人脸图像的光照情况，以确定所获取的人脸图像的光照情况是否过暗或过亮；以及校正单元，被配置为如果所获取的人脸图像的光照情况过暗或过亮，则对所获取的人脸图像进行自适应伽马校正。还提供了一种用于处理人脸图像的方法。采用本发明，能够降低由于光照质量低而造成的人脸图像的识别错误率。

Description

用于处理人脸图像的设备和方法

技术领域

本申请涉及图像处理领域，具体涉及一种用于处理人脸图像的设备和方法。

背景技术

当前，人脸识别技术已经得到了广泛的应用。通过采集含有人脸的图像或视频，并自动在图像中检测、定位人脸以及进行人脸图像间的比对，能够识别不同人的身份。

通常，人脸识别技术的性能会受到光照、姿态、遮挡等多方面因素的影响。在众多影响因素中，光照变化是影响识别性能的关键因素之一。由于人脸的三维结构，光照投射出的阴影会减弱原有的人脸特征。尤其是在夜晚，由于光线不足造成的面部阴影会导致识别率的急剧下降，极大地影响了人脸识别技术在实际应用中的性能。

理论及实验表明，同一个体因光照不同引起的差异，大于同一光照下不同个体之间的差异。因此，对光照质量低(特别是光照情况过弱)的人脸图像进行预处理，对于改善人脸识别技术的性能具有积极的意义。

发明内容

根据本发明，在人脸识别中使用基于亮度变换的光照前处理，以处理过暗/过亮的人脸图像。

具体地，根据本发明的一个方面，提供了一种用于处理人脸图像的设备，包括：获取单元，被配置为获取人脸图像；估计单元，被配置为将人脸图像划分为若干区域，并估计所获取的每一区域内的人脸图像的光照情况，以确定所获取的人脸图像的光照情况是否过暗或过亮；以及校正单元，被配置为如果所获取的人脸图像的光照情况过暗或过亮，则对所获取的人脸图像进行自适应伽马校正。

在一个实施例中，估计单元被配置为：通过计算每个区域的亮度值的累积分布函数，确定人脸图像的光照情况是否过暗或过亮。

在一个实施例中，估计单元被配置为：如果任何一个区域的亮度值的累积分布函数在第一特定亮度值上的值大于第一阈值，则确定人脸图像的光照情况过暗；其中，累积分布函数在第一特定亮度值上的值的含义为亮度小于第一特定亮度值的像素的个数与区域中的像素的总数的比值。

在一个实施例中，第一特定亮度值是落于人脸图集中所有人脸图片的亮度值的累积分布函数值在每个亮度值变量上的均值的中间数的亮度值。

在一个实施例中，估计单元被配置为：在人脸图像的光照情况被确定为没有过暗后，如果任何一个区域的亮度值的累积分布函数在第二特定亮度值上的值小于第二阈值，则确定人脸图像的光照情况过亮；其中，累积分布函数在第二特定亮度值上的值的含义为亮度大于第二特定亮度值的像素的个数与区域中的像素的总数的比值。

在一个实施例中，第二特定亮度值是最大亮度值与所述第一特定亮度值之差。

在一个实施例中，校正单元被配置为针对人脸图像中的每一个像素执行以下操作：取得该像素的亮度值、计算人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数；以及基于该像素的亮度值、计算得到的人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，计算该像素经过自适应伽马校正后的亮度值。

在一个实施例中，校正单元被配置为：基于计算得到的该像素的亮度值、人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，并且还基于以过暗或过亮的区域的个数为变量的单调函数，计算该像素经过自适应伽马校正后的亮度值。

根据本发明的另一个方面，提供了一种用于处理人脸图像的方法，包括：获取人脸图像，并将人脸图像划分为若干区域；估计所获取的人脸图像的光照情况，以确定所获取的人脸图像的光照情况是否过暗或过亮；以及如果所获取的人脸图像的光照情况过暗或过亮，则对所获取的人脸图像进行自适应伽马校正。

在一个实施例中，估计人脸图像的光照情况包括：通过计算每个区域的亮度值的累积分布函数，确定人脸图像的光照情况是否过暗或过亮。

在一个实施例中，估计人脸图像的光照情况包括：如果任何一个区域的亮度值的累积分布函数在第一特定亮度值上的值大于第一阈值，则确定人脸图像的光照情况过暗；其中，累积分布函数在第一特定亮度值上的值含义为亮度小于第一特定亮度值的像素的个数与区域中的像素的总数的比值。

在一个实施例中，第一特定亮度值是落于人脸图集中所有人脸图片的亮度值的累积分布函数值在每个亮度值变量上的均值的中间数的亮度值。

在一个实施例中，估计人脸图像的光照情况包括：在人脸图像的光照情况被确定为没有过暗后，如果任何一个区域的亮度值的累积分布函数在第二特定亮度值上的值小于第二阈值，则确定人脸图像的光照情况过亮；其中，累积分布函数在第二特定亮度值上的值的含义为亮度大于第二特定亮度值的像素的个数与区域中的像素的总数的比值。

在一个实施例中，第二特定亮度值是最大亮度值与所述第一特定亮度值之差。

在一个实施例中，对所获取的人脸图像进行自适应伽马校正包括针对人脸图像中的每一个像素执行以下操作：取得该像素的亮度值、计算人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数；以及基于该像素的亮度值、计算得到的人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，计算该像素经过自适应伽马校正后的亮度值。

在一个实施例中，对所获取的人脸图像进行自适应伽马校正包括：基于该像素的亮度值、计算得到的人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，并且还基于以过暗或过亮的区域的个数为变量的单调函数，计算该像素经过自适应伽马校正后的亮度值。

采用本发明的技术方案，能够降低由于光照质量低而造成的人脸图像的识别错误率。

附图说明

通过下文结合附图的详细描述，本发明的上述和其它特征将会变得更加明显，其中：

图1是示出了根据本发明一个实施例的用于处理人脸图像的设备的框图。

图2是示出了根据本发明一个实施例的人脸图像的示意图。

图3是示出了根据本发明一个实施例的人脸图像的光照情况估计的示意图。

图4是示出了根据本发明一个实施例的采用不同方式对人脸图像进行校正的示意图。

图5是示出了根据本发明一个实施例的人脸图像的亮度值的累积分布函数的示意图。

图6是示出了根据本发明一个实施例的采用不同方式对人脸图像进行校正的示意图。

图7是示出了根据本发明一个实施例的用于处理人脸图像的方法的流程图。

具体实施方式

下面，通过结合附图对本发明的具体实施例的描述，本发明的原理和实现将会变得明显。应当注意的是，本发明不应局限于下文所述的具体实施例。另外，为了简便起见，省略了与本发明无关的公知技术的详细描述。

图1是示出了根据本发明一个实施例的用于处理人脸图像的设备的框图。如图1所示，设备10包括获取单元110、估计单元120和校正单元130。下面，详细描述设备10中的各个单元的操作。

获取单元110被配置为获取人脸图像。例如，获取单元110可以是摄像头，并从图像集或视频集中采集含有人脸的图像或视频，从中识别出人脸并将图像中的人脸部分裁剪出来作为人脸图像。

估计单元120被配置为将人脸图像划分为若干区域，并估计所获取的每一区域内的人脸图像的光照情况，以确定所获取的人脸图像的光照情况是否过暗或过亮。例如，估计单元120可以通过计算每个区域的亮度值的累积分布函数，确定人脸图像的光照情况是否过暗或过亮。其中，累积分布函数是概率密度函数的积分，能够完整描述一个实数随机变量X的概率分布，一般记为CDF。对于所有实数x，累积分布函数定义为：

cdf(x)＝P(X≤x)

例如，估计单元120可以按照以下方式来确定人脸图像的光照情况是否过暗：如果任何一个区域的亮度值的累积分布函数在特定亮度值上的值大于阈值，则确定人脸图像的光照情况过暗，其中，累积分布函数在特定亮度值上的值的含义为亮度小于特定亮度值的像素的个数与区域中的像素的总数的比值。

图2是示出了根据本发明一个实施例的人脸图像的示意图。如图2所示，人脸图像被划分为左上、右上、左下和右下4个区域。需要说明的是，人脸图像的划分方式不限于此。例如，可以划分更多数量或更少数量的相同或不同面积的区域。在图2的示例中，如果任何一个区域的亮度值的累积分布函数在特定亮度值上的值大于第一阈值，则估计单元120确定人脸图像的光照情况过暗。计算公式如下：

cdf_l(l₀)＞θ₀ (1)

其中，cdf_l(*)是人脸图像中的特定区域的亮度值的累积分布函数。公式(1)的含义是：亮度小于特定亮度值I₀的像素的个数与整个区域中的像素的总数的比值大于给定的阈值θ₀。优选地，特定亮度值I₀可以是落于人脸图集中所有人脸图片的累积分布函数值在每个亮度值变量上的均值的中间数的亮度值。

相应的，估计单元120可以按照以下方式来确定人脸图像的光照情况是否过亮：如果任何一个区域的亮度值的累积分布函数在特定亮度值上的值小于阈值，则确定人脸图像的光照情况过亮；其中，累积分布函数在特定亮度值上的值表示亮度大于特定亮度值的像素的个数与区域中的像素的总数的比值。计算公式如下：

cdf_l(I₁)＜θ₁ (2)

其中，cdf_l(*)是人脸图像中的特定区域的亮度值的累积分布函数。公式(2)的含义是：亮度大于特定亮度值I₁的像素的个数与整个区域中的像素的总数的比值小于给定的阈值θ₁。优选地，特定亮度值I₁可以是最大亮度(例如，当灰度为256阶时，最大亮度为255)与特定亮度值I₀之差。

图3是示出了根据本发明一个实施例的人脸图像的光照情况估计的示意图。如图3所示，人脸图像的左上和左下区域不满足公式(1)，不被判定为过暗；而右上和右下区域满足公式(1)，被判定为过暗。该人脸图像被确定为光照情况过暗。

校正单元130被配置为针对人脸图像中的每一个像素执行以下操作：取得该像素的亮度值、计算人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数；以及基于该像素的亮度值、计算得到的人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，计算该像素经过自适应伽马校正后的亮度值。

传统的伽马校正是一种调整图像亮度的技术，其通过幂函数的形式对图像的像素亮度进行转换，从而能够对较暗区域的图像细节进行增强。伽马校正可表示为：

GIC(I)＝I_max(I/I_max)^γ

本发明中的自适应伽马校正用于增强过暗/过亮的图像。具体地，它将传统伽马校正中固定的伽马系数替换为一种由输入图像的CDF和该图像的光照质量评估结果所构成的函数。其表达式如下(AGIC)：

上式中，I表示人脸图像中一个像素的亮度值，I_max为整个人脸图像中最大的像素亮度值。cdf_g(*)是整个人脸图像的CDF，T(I)是经过自适应伽马校正亮度变换(归一化)后的亮度值。

优选地，校正单元130可以基于该像素的亮度值、计算得到的人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，并且还基于以过暗或过亮的区域的个数为变量的单调函数，计算该像素经过自适应伽马校正后的亮度值。其表达式如下(增强的AGIC)：

其中，n₀是符合上述公式(1)的区域的个数，n₁是符合上述公式(2)的区域的个数。F₀(n₀)是以n₀作为变量的单调递减函数，而F₁(n₁)是以n₁作为变量的单调递增函数。

下面，通过一个具体示例来描述上述设备10的操作。

图4是示出了根据本发明一个实施例的采用不同方式对人脸图像进行校正的示意图。图5是示出了根据本发明一个实施例的人脸图像的亮度值的累积分布函数的示意图。图4最左边示出了获取单元110所获取的原始图像。

在本示例中，估计单元120将原始图像划分为左上、右上、左下和右下4个区域。通过上述公式(1)和(2)并采用图5所示的CDF函数，估计单元120确定所获取的人脸图像的光照情况是过暗的。

在本示例中，校正单元130采用以下公式(4’)来执行亮度值的校正：

其中，参数a＝0.5，b＝1，c＝1，d＝0.75。N是人脸图像中的区域的总数(在本示例中N＝4，n₀＝4)。

由于原始图像是“过暗”的，因此校正单元130采用公式(4’)中的上半部分来进行亮度值的校正：

其中

-a＝0.5

-b＝1，

-n₀＝4

-N＝4

-I_max＝255(原图中最大灰度值为255)

-I＝22

-cdf_g(I)＝0.8826

得到T(I)＝221

需要说明，上述计算过程是以公式(4’)为例而描述的。在此基础上，本领域技术人员可以理解如何采用公式(4)进行计算(即，省略的计算)。

最终结果如图4所示。其中，图4的中间图反映了仅考虑像素的亮度值、人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数而计算得到的该像素经过自适应伽马校正后的亮度值(即公式(3)，AGIC)。而图4的最右边示出了不仅考虑像素的亮度值、人脸图像中的最大亮度值以及人脸图像的累积分布函数，而且考虑过暗或过亮的区域的个数的单调函数而计算得到的该像素经过自适应伽马校正后的亮度值(即公式(4’)，增强的AGIC)。

图6是示出了根据本发明一个实施例的采用不同方式对人脸图像进行校正的示意图。在本示例中，估计单元120确定由获取单元110所获取的人脸图像的光照情况是过亮的。因此，校正单元130采用公式(4’)中的下半部分来进行亮度值的校正。在本示例中N＝4，n₁＝2，其他参数与上例中相同。图6的中间图反映了仅考虑像素的亮度值、人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数而计算得到的该像素经过自适应伽马校正后的亮度值(即公式(3)，AGIC)。而图6的最右边示出了不仅考虑像素的亮度值、人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，而且考虑过暗或过亮的区域的个数的单调函数而计算得到的该像素经过自适应伽马校正后的亮度值(即公式(4’)，增强的AGIC)。

可见，本发明通过使用基于亮度变换的光照前处理，能够对过暗/过亮的人脸图像进行前处理。此外，本发明使用自适应伽马校正，对所有的光照条件的人脸图像进行自适应的亮度值校正。由此，能够获得更好质量的人脸图像，从而降低了识别错误率。

图7是示出了根据本发明一个实施例的用于处理人脸图像的方法的流程图。如图7所示，方法70在步骤S710处开始。

在步骤S720，获取人脸图像，并将人脸图像划分为若干区域。例如，可以通过摄像头从图像集或视频集中采集含有人脸的图像或视频，从中识别出人脸并将图像中的人脸部分裁剪出来作为人脸图像。

在步骤S730，估计所获取的人脸图像的光照情况，以确定所获取的人脸图像的光照情况是否过暗或过亮。优选地，通过计算每个区域的亮度值的累积分布函数来确定人脸图像的光照情况是否过暗或过亮。

例如，如果任何一个区域的累积分布函数在第一特定亮度值上的值大于第一阈值，则确定人脸图像的光照情况过暗，其中累积分布函数的值的含义为亮度小于第一特定亮度值的像素的个数与区域中的像素的总数的比值，所述第一特定亮度值是落于人脸图集中所有人脸图片的累积分布函数值在每个亮度值变量上的均值的中间数的亮度值。

备选地，如果任何一个区域的累积分布函数在第二特定亮度值上的值小于第二阈值，则确定人脸图像的光照情况过亮，其中，累积分布函数的值的含义为亮度大于第二特定亮度值的像素的个数与区域中的像素的总数的比值，所述第二特定亮度值是最大亮度值与所述第一特定亮度值之差。

在步骤S740，如果所获取的人脸图像的光照情况过暗或过亮，则对所获取的人脸图像进行自适应伽马校正。

例如，针对人脸图像中的每一个像素执行以下操作：取得该像素的亮度值、计算人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数；以及基于该像素的亮度值、计算得到的人脸图像中的最大亮度值以及亮度值的人脸图像的累积分布函数，计算该像素经过自适应伽马校正后的亮度值。

优选地，基于该像素的亮度值、计算得到的人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，并且还基于以过暗或过亮的区域的个数为变量的单调函数，计算该像素经过自适应伽马校正后的亮度值。

最后，方法70在步骤S750处结束。

应该理解，本发明的上述实施例可以通过软件、硬件或者软件和硬件两者的结合来实现。例如，上述实施例中的系统内的各种组件可以通过多种器件来实现，这些器件包括但不限于：模拟电路、数字电路、通用处理器、数字信号处理(DSP)电路、可编程处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(CPLD)，等等。

另外，本领域的技术人员可以理解，本发明实施例中描述的初始参数可以存储在本地数据库中，也可以存储在分布式数据库中或者可以存储在远程数据库中。

此外，这里所公开的本发明的实施例可以在计算机程序产品上实现。更具体地，该计算机程序产品是如下的一种产品：具有计算机可读介质，计算机可读介质上编码有计算机程序逻辑，当在计算设备上执行时，该计算机程序逻辑提供相关的操作以实现本发明的上述技术方案。当在计算系统的至少一个处理器上执行时，计算机程序逻辑使得处理器执行本发明实施例所述的操作(方法)。本发明的这种设置典型地提供为设置或编码在例如光介质(例如CD-ROM)、软盘或硬盘等的计算机可读介质上的软件、代码和/或其他数据结构、或者诸如一个或多个ROM或RAM或PROM芯片上的固件或微代码的其他介质、或一个或多个模块中的可下载的软件图像、共享数据库等。软件或固件或这种配置可安装在计算设备上，以使得计算设备中的一个或多个处理器执行本发明实施例所描述的技术方案。

尽管以上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将会理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行各种修改、替换和改变。因此，本发明不应由上述实施例来限定，而应由所附权利要求及其等价物来限定。

Claims (16)

1.一种用于处理人脸图像的设备，包括：

获取单元，被配置为获取人脸图像；

估计单元，被配置为将人脸图像划分为若干区域，并估计所获取的每一区域内的人脸图像的光照情况，以确定所获取的人脸图像的光照情况是否过暗或过亮；以及

校正单元，被配置为如果所获取的人脸图像的光照情况过暗或过亮，则对所获取的人脸图像进行自适应伽马校正。

2.根据权利要求1所述的设备，其中，所述估计单元被配置为：

通过计算每个区域的亮度值的累积分布函数，确定人脸图像的光照情况是否过暗或过亮。

3.根据权利要求2所述的设备，其中，所述估计单元被配置为：

如果任何一个区域的亮度值的累积分布函数在第一特定亮度值上的值大于第一阈值，则确定人脸图像的光照情况过暗；

其中，累积分布函数在第一特定亮度值上的值的含义为亮度小于第一特定亮度值的像素的个数与区域中的像素的总数的比值。

4.根据权利要求3所述的设备，其中，所述第一特定亮度值包括落于人脸图集中所有人脸图片的亮度值的累积分布函数值在每个亮度值变量上的均值的中间数的亮度值。

5.根据权利要求3所述的设备，其中，所述估计单元被配置为：

在人脸图像的光照情况被确定为没有过暗后，如果任何一个区域的亮度值的累积分布函数在第二特定亮度值上的值小于第二阈值，则确定人脸图像的光照情况过亮；

其中，累积分布函数在第二特定亮度值上的值的含义为亮度大于第二特定亮度值的像素的个数与区域中的像素的总数的比值。

6.根据权利要求3所述的设备，其中，所述第二特定亮度值包括最大亮度值与所述第一特定亮度值之差。

7.根据权利要求1所述的设备，其中，所述校正单元被配置为针对人脸图像中的每一个像素执行以下操作：

取得该像素的亮度值、计算人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数；以及

基于该像素的亮度值、计算得到的人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，计算该像素经过自适应伽马校正后的亮度值。

8.根据权利要求7所述的设备，其中，所述校正单元被配置为：

基于计算得到的该像素的亮度值、人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，并且还基于以过暗或过亮的区域的个数为变量的单调函数，计算该像素经过自适应伽马校正后的亮度值。

9.一种用于处理人脸图像的方法，包括：

获取人脸图像，并将人脸图像划分为若干区域；

估计所获取的人脸图像的光照情况，以确定所获取的人脸图像的光照情况是否过暗或过亮；以及

如果所获取的人脸图像的光照情况过暗或过亮，则对所获取的人脸图像进行自适应伽马校正。

10.根据权利要求9所述的方法，其中，所述估计包括：

通过计算每个区域的亮度值的累积分布函数，确定人脸图像的光照情况是否过暗或过亮。

11.根据权利要求10所述的方法，其中，所述估计包括：

如果任何一个区域的亮度值的累积分布函数在第一特定亮度值上的值大于第一阈值，则确定人脸图像的光照情况过暗；

其中，累积分布函数在第一特定亮度值上的值含义为亮度小于第一特定亮度值的像素的个数与区域中的像素的总数的比值。

12.根据权利要求11所述的方法，其中，所述第一特定亮度值包括落于人脸图集中所有人脸图片的亮度值的累积分布函数值在每个亮度值变量上的均值的中间数的亮度值。

13.根据权利要求11所述的方法，其中，所述估计包括：

在人脸图像的光照情况被确定为没有过暗后，如果任何一个区域的亮度值的累积分布函数在第二特定亮度值上的值小于第二阈值，则确定人脸图像的光照情况过亮；

其中，累积分布函数在第二特定亮度值上的值的含义为亮度大于第二特定亮度值的像素的个数与区域中的像素的总数的比值。

14.根据权利要求11所述的方法，其中，所述第二特定亮度值包括最大亮度值与所述第一特定亮度值之差。

15.根据权利要求9所述的方法，其中，所述校正包括针对人脸图像中的每一个像素执行以下操作：

取得该像素的亮度值、计算人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数；以及

基于该像素的亮度值、计算得到的人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，计算该像素经过自适应伽马校正后的亮度值。

16.根据权利要求15所述的方法，其中，所述校正包括：

基于计算得到的该像素的亮度值、人脸图像中的最大亮度值以及人脸图像的亮度值的累积分布函数，并且还基于以过暗或过亮的区域的个数为变量的单调函数，计算该像素经过自适应伽马校正后的亮度值。