CN105631439A - 人脸图像处理方法和装置 - Google Patents

Abstract

本发明的实施例提供了一种人脸图像处理方法和装置。该人脸图像处理方法包括：接收待检测人脸图像；以及利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量。根据本发明提供的人脸图像处理方法和装置，利用训练好的深度卷积网络可以准确评估待检测人脸图像的质量，有助于提高人脸识别的准确性。

Description

人脸图像处理方法和装置

技术领域

本发明涉及人脸识别技术领域，更具体地涉及一种人脸图像处理方法和装置。

背景技术

当前，人脸识别技术越来越广泛地应用到生活中的各个场景，包括金融领域(例如银行和证券业等)开户过程中的身份认证、商业场所的VIP识别、安防领域中的嫌疑人识别等。人脸识别技术在近几年在性能上有很大的提高，对于非极端场景下的识别，可以达到与人类接近的水平。

但是，在人脸图像质量较差(例如侧脸角度过大、图像中存在运动模糊或者高斯模糊等)的情况下，人脸识别的识别率和准确率会明显降低。实际场景中发现，大部分的误识别和漏识别都是因为人脸图像质量不过关引起的。可见，对人脸图像进行质量评估对于提高人脸识别准确性是非常重要的。基于准确的人脸质量评估，在一段视频序列中挑选出质量足够好的人脸图像进行识别，可以极大提高人脸识别的准确性。但是人脸图像质量评估并没有引起足够的重视，当前存在的一些人脸图像质量评估方法通常都过于简单粗糙，评估结果不够精准，因此很难使人脸识别的性能出现大幅度提高。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种人脸图像处理方法和装置。

根据本发明一方面，提供了一种人脸图像处理方法。该人脸图像处理方法包括：接收待检测人脸图像；以及利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量。

示例性地，利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量包括：利用至少一种训练好的深度卷积网络对待检测人脸图像执行特定检查操作，并且如果待检测人脸图像通过特定检查操作中的所有检查，则确定待检测人脸图像的质量合格，其中，特定检查操作包括以下检查操作中的一项或多项：利用关于人脸姿态的深度卷积网络计算待检测人脸图像的人脸角度，并根据待检测人脸图像的人脸角度判断待检测人脸图像是否通过人脸姿态检查；利用关于图像模糊的深度卷积网络计算待检测人脸图像的模糊程度，并根据待检测人脸图像的模糊程度判断待检测人脸图像是否通过图像模糊检查；以及利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多个人脸关键部位的遮挡状态，并根据待检测人脸图像中的一个或多个人脸关键部位的遮挡状态判断待检测人脸图像是否通过人脸遮挡检查。

示例性地，人脸图像处理方法进一步包括：基于第一训练人脸图像集合通过深度学习方法训练神经网络，以得到关于人脸姿态的深度卷积网络，其中，第一训练人脸图像集合中的每个训练人脸图像的人脸角度是已标注好的。

示例性地，人脸图像处理方法进一步包括：基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到关于图像模糊的深度卷积网络，其中，第二训练人脸图像集合中的每个训练人脸图像的模糊程度是已标注好的。

示例性地，在基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到关于图像模糊的深度卷积网络之前，人脸图像处理方法进一步包括：获得第一初始人脸图像集合；以及利用预定高斯核和预定运动模糊核对第一初始人脸图像集合中的每个初始人脸图像进行卷积，以生成第二训练人脸图像集合。

示例性地，利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多个人脸关键部位的遮挡状态包括：从待检测人脸图像中提取包含一个或多个人脸关键部位的至少一个图像块；以及利用与一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络计算至少一个图像块中的每一个中的对应的人脸关键部位的遮挡状态。

示例性地，人脸图像处理方法进一步包括：分别基于与一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，以得到与一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络，其中，一个或多个训练图像块集合中的对应人脸关键部位的遮挡状态是已标注好的。

示例性地，在分别基于与一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，以得到与一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络之前，人脸图像处理方法进一步包括：对于一个或多个人脸关键部位中的每一个，获得第二初始人脸图像集合和第三初始人脸图像集合，其中，该人脸关键部位在第二初始人脸图像集合中未被遮挡，并且该人脸关键部位在第三初始人脸图像集合中被遮挡；从第二初始人脸图像集合中提取包含该人脸关键部位的正样本图像块作为与该人脸关键部位对应的训练图像块集合中的正样本，并且从第三初始人脸图像集合中提取负样本图像块作为与该人脸关键部位对应的训练图像块集合中的负样本，其中，负样本图像块中的该人脸关键部位被遮挡。

示例性地，人脸图像处理方法进一步包括：基于所述待检测人脸图像的光照情况评估所述待检测人脸图像的质量；以及根据利用所述至少一种训练好的深度卷积网络评估所述待检测人脸图像的质量的第一评估结果以及基于所述待检测人脸图像的光照情况评估所述待检测人脸图像的质量的第二评估结果综合评估所述待检测人脸图像的质量。

示例性地，所述基于所述待检测人脸图像的光照情况评估所述待检测人脸图像的质量包括：利用灰度直方图特征计算待检测人脸图像的光照情况，并根据待检测人脸图像的光照情况判断待检测人脸图像是否通过光照检查，如果所述待检测人脸图像通过所述光照检查，则确定所述待检测人脸图像的质量合格。

示例性地，利用灰度直方图特征计算待检测人脸图像的光照情况包括：分别针对待检测人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得一个或多个待检测直方图；计算一个或多个待检测直方图中的每一个的特定百分比位置处的亮度值，以获得与一个或多个直方图位置一一对应的一个或多个待检测亮度值，其中，一个或多个直方图位置分别具有各自的预定亮度值均值；以及如果在一个或多个待检测亮度值中，存在预定数目的待检测亮度值与对应的预定亮度值均值之差超过一个阈值，则确定待检测人脸图像未通过光照检查。

示例性地，人脸图像处理方法进一步包括：获得第三训练人脸图像集合；对于第三训练人脸图像集合中的每一个训练人脸图像，分别针对该训练人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得与该训练人脸图像相关的一个或多个训练直方图；计算一个或多个训练直方图中的每一个的特定百分比位置处的亮度值，以获得与该训练人脸图像相关的、与一个或多个直方图位置一一对应的一个或多个训练亮度值；对于一个或多个直方图位置中的每一个，计算与第三训练人脸图像集合中的所有训练人脸图像相关的、与该直方图位置相对应的所有训练亮度值的均值，以获得该直方图位置的预定亮度值均值。

示例性地，根据人脸角度判断待检测人脸图像是否通过人脸姿态检查包括：如果人脸角度小于角度阈值，则确定待检测人脸图像通过人脸姿态检查；和/或根据模糊程度判断待检测人脸图像是否通过图像模糊检查包括：如果模糊程度小于模糊阈值，则确定待检测人脸图像通过图像模糊检查；和/或根据一个或多个人脸关键部位的遮挡状态判断待检测人脸图像是否通过人脸遮挡检查包括：如果一个或多个人脸关键部位均未被遮挡，则确定人脸图像通过人脸遮挡检查。

根据本发明另一方面，提供了一种人脸图像处理装置。该人脸图像处理装置包括接收模块和第一质量评估模块。接收模块用于接收待检测人脸图像。第一质量评估模块用于利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量。

示例性地，第一质量评估模块包括检查子模块，用于利用至少一种训练好的深度卷积网络对待检测人脸图像执行特定检查操作，并且如果待检测人脸图像通过特定检查操作中的所有检查，则确定待检测人脸图像的质量合格，其中，检查子模块包括以下检查组件中的一项或多项：人脸姿态检查组件、图像模糊检查组件和人脸遮挡检查组件，人脸姿态检查组件包括：第一计算单元，用于利用关于人脸姿态的深度卷积网络计算待检测人脸图像的人脸角度；以及第一判断单元，用于根据待检测人脸图像的人脸角度判断待检测人脸图像是否通过人脸姿态检查；图像模糊检查组件包括：第二计算单元，用于利用关于图像模糊的深度卷积网络计算待检测人脸图像的模糊程度；以及第二判断单元，用于根据待检测人脸图像的模糊程度判断待检测人脸图像是否通过图像模糊检查；以及人脸遮挡检查组件包括：第三计算单元，用于利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多个人脸关键部位的遮挡状态；以及第三判断单元，用于根据待检测人脸图像中的一个或多个人脸关键部位的遮挡状态判断待检测人脸图像是否通过人脸遮挡检查。

示例性地，人脸图像处理装置进一步包括：第一训练模块，用于基于第一训练人脸图像集合通过深度学习方法训练神经网络，以得到关于人脸姿态的深度卷积网络，其中，第一训练人脸图像集合中的每个训练人脸图像的人脸角度是已标注好的。

示例性地，人脸图像处理装置进一步包括：第二训练模块，用于基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到关于图像模糊的深度卷积网络，其中，第二训练人脸图像集合中的每个训练人脸图像的模糊程度是已标注好的。

示例性地，人脸图像处理装置进一步包括：第一图像获得模块，用于获得第一初始人脸图像集合；以及卷积模块，用于利用预定高斯核和预定运动模糊核对第一初始人脸图像集合中的每个初始人脸图像进行卷积，以生成第二训练人脸图像集合。

示例性地，第三计算单元包括：提取子单元，用于从待检测人脸图像中提取包含一个或多个人脸关键部位的至少一个图像块；以及计算子单元，用于利用与一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络计算至少一个图像块中的每一个中的对应的人脸关键部位的遮挡状态。

示例性地，人脸图像处理装置进一步包括：第三训练模块，用于分别基于与一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，以得到与一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络，其中，一个或多个训练图像块集合中的对应人脸关键部位的遮挡状态是已标注好的。

示例性地，人脸图像处理装置进一步包括：第二图像获得模块，用于对于一个或多个人脸关键部位中的每一个，获得第二初始人脸图像集合和第三初始人脸图像集合，其中，该人脸关键部位在第二初始人脸图像集合中未被遮挡，并且该人脸关键部位在第三初始人脸图像集合中被遮挡；以及样本提取模块，用于对于一个或多个人脸关键部位中的每一个，从第二初始人脸图像集合中提取包含该人脸关键部位的正样本图像块作为与该人脸关键部位对应的训练图像块集合中的正样本，并且从第三初始人脸图像集合中提取负样本图像块作为与该人脸关键部位对应的训练图像块集合中的负样本，其中，负样本图像块中的该人脸关键部位被遮挡。

示例性地，人脸图像处理装置进一步包括：第二质量评估模块，用于基于待检测人脸图像的光照情况评估待检测人脸图像的质量；以及综合质量评估模块，用于根据第一质量评估模块的第一评估结果以及第二质量评估模块的第二评估结果综合评估待检测人脸图像的质量。

示例性地，第二质量评估模块包括：计算子模块，用于利用灰度直方图特征计算待检测人脸图像的光照情况；以及判断子模块，用于根据待检测人脸图像的光照情况判断待检测人脸图像是否通过光照检查，如果所述待检测人脸图像通过所述光照检查，则确定所述待检测人脸图像的质量合格。

示例性地，计算子模块包括：直方图获得单元，用于分别针对待检测人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得一个或多个待检测直方图；亮度计算单元，用于计算一个或多个待检测直方图中的每一个的特定百分比位置处的亮度值，以获得与一个或多个直方图位置一一对应的一个或多个待检测亮度值，其中，一个或多个直方图位置分别具有各自的预定亮度值均值；以及光照确定单元，用于如果在一个或多个待检测亮度值中，存在预定数目的待检测亮度值与对应的预定亮度值均值之差超过一个阈值，则确定待检测人脸图像未通过光照检查。

示例性地，人脸图像处理装置进一步包括：第三图像获得模块，用于获得第三训练人脸图像集合；直方图获得模块，用于对于第三训练人脸图像集合中的每一个训练人脸图像，分别针对该训练人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得与该训练人脸图像相关的一个或多个训练直方图；亮度计算模块，用于对于第三训练人脸图像集合中的每一个训练人脸图像，计算一个或多个训练直方图中的每一个的特定百分比位置处的亮度值，以获得与该训练人脸图像相关的、与一个或多个直方图位置一一对应的一个或多个训练亮度值；以及均值计算模块，用于对于一个或多个直方图位置中的每一个，计算与第三训练人脸图像集合中的所有训练人脸图像相关的、与该直方图位置相对应的所有训练亮度值的均值，以获得该直方图位置的预定亮度值均值。

根据本发明实施例的人脸图像处理方法和装置，利用训练好的深度卷积网络可以准确评估待检测人脸图像的质量，有助于提高人脸识别的准确性。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出用于实现根据本发明实施例的人脸图像处理方法和装置的示例电子设备的示意性框图；

图2示出根据本发明一个实施例的人脸图像处理方法的示意性流程图；

图3示出根据本发明一个实施例的人脸图像处理装置的示意性框图；以及

图4示出根据本发明一个实施例的人脸图像处理系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图1来描述用于实现根据本发明实施例的人脸图像处理方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108和图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以采集期望的图像(例如包含人脸的照片、视频帧等)，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以采用任何合适的设备实现，例如独立的照相机或移动终端的摄像头等。图像采集装置110是可选的，电子设备100可以不包括图像采集装置110。电子设备100可以利用图像采集装置110采集图像，也可以经由与其他设备之间的通信接口(未示出)接收其他设备传送的图像。

示例性地，用于实现根据本发明实施例的人脸图像处理方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。

下面，将参考图2描述根据本发明实施例的人脸图像处理方法。图2示出根据本发明一个实施例的人脸图像处理方法200的示意性流程图。如图2所示，人脸图像处理方法200包括以下步骤。

在步骤S210，接收待检测人脸图像。

待检测人脸图像可以是需要进行人脸图像质量评估(例如用于人脸识别)的图像，其中包含人脸。待检测人脸图像可以来自外部设备，由外部设备传送到电子设备100进行人脸图像质量评估。此外，待检测人脸图像也可以由电子设备100针对人脸进行采集获得。例如，电子设备100可以利用图像采集装置110(例如独立的照相机)采集待检测人脸图像。图像采集装置110可以将采集到的待检测人脸图像传送到处理器102，由处理器102进行人脸图像质量评估。

在步骤S220，利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量。

可以预先训练神经网络，例如，卷积神经网络，以得到训练好的深度卷积网络并利用训练好的深度卷积网络评估人脸图像的质量。对于人脸图像来说，可能存在多种指标用来衡量图像质量的好坏。例如，可以根据人脸图像中的人脸姿态(可以用人脸角度表示，即人脸向某些方向偏转的角度)、图像模糊程度、人脸遮挡状态、光照情况等指标(或说因素)中的一种或多种来衡量人脸图像的质量。具体地，例如，如果人脸侧脸角度或俯仰角度超过阈值，则可以认为人脸图像质量不合格，认为其无法满足人脸识别准确性的要求。又例如，如果人脸图像的模糊程度超过阈值，也可以认为人脸图像的质量不合格。又例如，如果人脸中的一些关键部位(例如，眼睛和/或嘴巴)被遮挡，则认为人脸图像的质量不合格。又例如，如果人脸图像的光照亮度低于阈值，则认为人脸图像的质量不合格。再例如，可以综合考虑多种指标，如在人脸图像的模糊程度超过阈值并且图像亮度低于阈值的情况下，可以认为人脸图像的质量不合格。本领域技术人员应该理解的是，上述指标的综合是示例性的，本发明并不局限于此，本领域技术人员还可以根据实际需要，对上述各指标进行多种综合。

为了利用上述指标(例如，人脸姿态、图像模糊程度以及人脸遮挡状态)衡量待检测人脸图像的质量，可以针对不同指标训练不同的深度卷积网络。当然，根据需要，也可以针对多种指标综合训练一种深度卷积网络。总之，利用训练好的深度卷积网络可以评估待检测人脸图像的质量。

深度卷积网络(或称卷积神经网络，CNN)是一种深度学习结构。深度学习是一种高精确度的特征提取方法，其可以自动学习特征，不需要手动提取。基于深度学习可以获得高精度的分类结果。因此，利用训练好的深度卷积网络可以准确地判断待检测人脸图像在期望指标上是否满足要求，进而可以评估待检测人脸图像的质量是否合格，这有助于提高人脸识别的准确性。

示例性地，根据本发明实施例的人脸图像处理方法可以在具有存储器和处理器的设备、装置或者系统中实现。

根据本发明实施例的人脸图像处理方法可以部署在人脸图像采集端处，例如，在安防应用领域，可以部署在门禁系统的图像采集端；在金融应用领域，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。

替代地，根据本发明实施例的人脸图像处理方法还可以部署在服务器端(或云端)处。例如，可以在客户端(例如个人终端)采集待检测人脸图像，客户端将采集的待检测人脸图像传送给服务器端(或云端)，由服务器端(或云端)进行人脸图像处理。

根据本发明提供的人脸图像处理方法，利用训练好的深度卷积网络可以准确评估待检测人脸图像的质量，有助于提高人脸识别的准确性。

根据本发明实施例，步骤S220可以包括：利用至少一种训练好的深度卷积网络对待检测人脸图像执行特定检查操作，并且如果待检测人脸图像通过特定检查操作中的所有检查，则确定待检测人脸图像的质量合格。特定检查操作可以包括以下检查操作中的一项或多项：利用关于人脸姿态的深度卷积网络计算待检测人脸图像的人脸角度，并根据待检测人脸图像的人脸角度判断待检测人脸图像是否通过人脸姿态检查；利用关于图像模糊的深度卷积网络计算待检测人脸图像的模糊程度，并根据待检测人脸图像的模糊程度判断待检测人脸图像是否通过图像模糊检查；以及利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多个人脸关键部位的遮挡状态，并根据待检测人脸图像中的一个或多个人脸关键部位的遮挡状态判断待检测人脸图像是否通过人脸遮挡检查。

如上文所述，人脸图像的质量可以利用多种指标来衡量。对于每种指标，可以利用不同的深度卷积网络来判断。可以预先选择参与质量评估的指标和相应的深度卷积网络。对于选定的指标来说，当人脸图像满足各指标的要求时，即当人脸图像通过与各指标相关的检查时，可以认为人脸图像的质量是合格的。

参与质量评估的指标和相应的深度卷积网络可以根据需要而定，本发明不对此进行限制。本文以比较受关注的、对人脸图像的质量影响较大的几种指标作为示例描述本发明的实施方式，但本发明不限于此。

通常对人脸图像的质量影响较大的指标是人脸图像中的人脸姿态、图像模糊程度、人脸遮挡状态、光照情况等。对于人脸姿态、图像模糊程度、人脸遮挡状态，可以利用深度学习方法训练出适用的深度卷积网络，并进一步利用深度卷积网络判断待检测人脸图像在这些指标上是否满足要求。对于光照情况，可以基于灰度直方图对人脸图像的光照情况进行分类，利用待检测人脸图像的灰度直方图特征来衡量其是否满足光照要求，这将在后文的其他实施例中进行描述。

对于人脸姿态，可以利用人脸在三个空间维度上的偏转角度(即人脸角度)来标识人脸姿态。人脸向左后方或右后方偏转(侧脸)的角度可以视为侧脸角度，人脸向上下两个方向偏转(抬头或低头)的角度可以视为俯仰角度，人脸向左肩或右肩两个方向偏转(歪头)的角度可以视为歪头角度。在人脸识别场景中，如果侧脸角度或俯仰角度过大将很难辨认，也非常容易产生误识别现象。然而，歪头角度的影响不大，因为歪头的情况可以矫正为正脸。因此，可以利用关于人脸姿态的深度卷积网络计算出人脸的侧脸角度和俯仰角度，根据计算出的这些人脸角度筛选出人脸为正脸或者人脸的侧脸角度或俯仰角度比较小的人脸图像用于进一步的人脸识别。

对于图像模糊程度，可以利用关于图像模糊的深度卷积网络计算待检测人脸图像的模糊程度，得到模糊程度的参数，并进而根据模糊程度的参数判断人脸图像是否通过图像模糊检查。因为在人脸图像模糊到一定程度时，将很难辨认其中的人脸，所以可以通过图像模糊检查操作将这些过于模糊的图像挑选出来，不再传递给后续的人脸识别系统，而是将较为清晰的人脸图像传递给人脸识别系统，这样的人脸图像更适合进行人脸识别，也更容易准确辨认出其中的人脸。

对于人脸遮挡状态，可以利用关于人脸遮挡的深度卷积网络判断某些人脸关键部位是否被遮挡，进一步根据这些人脸关键部位的遮挡状态判断人脸图像的质量是否合格。在进行人脸识别的时候，如果人脸被遮挡的部分过大，人脸将很难辨认。例如，如果遮住了人脸上的眼睛和眉毛的部分，仅凭剩下的部分可能很难判断两张人脸图像中的人脸是否属于同一个人。这是因为未遮挡部分包含的信息有限，损失了较大一部分人脸信息，在这种情况下，即使未遮挡部分的相似度很高，也有可能是不同的人。所以，对于这种被过度遮挡的人脸图像，可以认为其质量不合格，不再将其传递给后续的人脸识别系统去识别，而是将那些没有遮挡或者遮挡部分较小的人脸图像传递给人脸识别系统。需要判断是否被遮挡的人脸关键部位可以根据需要而定，可以选择对人脸识别效果影响较大的几个人脸关键部位作为在人脸遮挡检查中涉及到的人脸关键部位。例如，人脸关键部位可以包括左眼部位、右眼部位和嘴部中的至少一个部位。左眼部位、右眼部位和嘴部是在人脸识别中经常需要用到的关键特征，对人脸识别的影响较大，因此可以选择这些关键部位中的一个或多个作为在人脸遮挡检查中涉及到的人脸关键部位。对于左眼部位、右眼部位及嘴部在人脸上的大小的划分可以采用常规技术实现，本发明对此不进行赘述。

当前存在的一些人脸图像质量评估方法通常比较简单，考虑到的因素较少。例如，监控摄像头或者手机摄像头采集到的图像经常带有运动模糊，如果利用这些带有运动模糊的图像进行人脸识别，很容易产生误识别。而根据本发明的实施例，可以考虑多种指标，并可以根据需要对这些指标进行选择，这有助于减少人脸识别的误识别率。

示例性地，人脸图像处理方法200可以进一步包括：基于第一训练人脸图像集合通过深度学习方法训练神经网络，例如，卷积神经网络，以得到关于人脸姿态的深度卷积网络，其中，第一训练人脸图像集合中的每个训练人脸图像的人脸角度是已标注好的。

为了训练关于人脸姿态的深度卷积网络，需要首先获得带标注的数据，也就是需要获得人脸角度已知的人脸图像。例如，可以通过以下方式获得所需要的人脸图像：在互联网上爬取大量人脸图像，然后人工标注每张人脸图像上的人脸在三维空间中的偏转角度。已标注好人脸角度的人脸图像是训练人脸图像，这些图像组成第一训练人脸图像集合。关于人脸姿态的深度卷积网络可以设计为包含M个卷积层，N个全连接层，最后一个全连接层的输出可以为3个浮点数，分别代表人脸在三维空间中的3个偏转角度。M和N可以是任何合适的值，例如M可以为6，N可以为2，但本发明并不限于此。随后可以离线训练关于人脸姿态的深度卷积网络。可以使用已经标注好的人脸三维角度数据，利用随机梯度下降法训练整个网络至收敛。

利用训练好的关于人脸姿态的深度卷积网络进行人脸姿态检查的过程可以如下所述。使用训练好的网络参数，在新的待检测人脸图像上进行检查。也就是将待检测人脸图像输入到训练好的关于人脸姿态的深度卷积网络，该网络输出人脸在三维空间中的偏转角度。根据输出的人脸角度判断人脸图像是否通过人脸姿态检查。例如，可以设定一个角度阈值，如果人脸角度小于该角度阈值，则确定待检测人脸图像通过人脸姿态检查，否则确定待检测人脸图像未通过人脸姿态检查。该角度阈值可以根据需要而定，本发明对此不进行限制。例如，角度阈值可以为30度、45度、60度等任何合适的值。

示例性地，人脸图像处理方法200可以进一步包括：基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到关于图像模糊的深度卷积网络，其中，第二训练人脸图像集合中的每个训练人脸图像的模糊程度是已标注好的。

为了训练关于图像模糊的深度卷积网络，需要首先获得带标注的数据，也就是需要获得模糊程度已知的人脸图像。由于直接获取到大量模糊程度不同的人脸图像非常困难，因此根据本发明一个实施例，可以通过以下方式获得所需要的人脸图像：首先收集现有的清晰的人脸图像，然后将其合成为具有高斯模糊和运动模糊的人脸图像，并给出模糊程度的标注。

具体地，在基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到关于图像模糊的深度卷积网络之前，人脸图像处理方法200可以进一步包括：获得第一初始人脸图像集合；以及利用预定高斯核和预定运动模糊核对第一初始人脸图像集合中的每个初始人脸图像进行卷积，以生成第二训练人脸图像集合。

下面举例描述第二训练人脸图像集合的生成方式。首先收集大量清晰人脸图像，即第一初始人脸图像集合。第一初始人脸图像集合中的每个初始人脸图像的大小可以为例如64x64像素。对于每个初始人脸图像I，按如下方式处理：

a).在[0.15,1.5]的数字范围内均匀采样得到随机实数σ，并生成方差为σ的高斯核，即预定高斯核K0(x,y):

$K0(x,y)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2},$

其中，预定高斯核可以用于模拟相机失焦造成的模糊。

b).在[1,10]的数字范围内均匀采样得到随机实数r，并在[0,2π]范围内均匀采样得到随机实数θ，并利用以下函数生成预定运动模糊核K1(x,y)：

预定运动模糊核可以用于模拟运动模糊，可以用运动方向为角度θ、长度为r的线段表示。

c).用K0和K1对初始人脸图像I进行卷积得到I’＝I*K0*K1，I’表示模糊后的人脸图像，其具有高斯模糊程度σ和运动模糊程度r。所有模糊后的人脸图像可以组成第二训练人脸图像集合。

关于图像模糊的深度卷积网络可以设计为包含M个卷积层，N个全连接层，最后一个全连接层的输出可以为2个浮点数，分别代表高斯模糊程度和运动模糊程度。M和N可以任何合适的值，例如M可以为6，N可以为2，但本发明并不限于此。可以使用第二训练人脸图像集合离线训练神经网络，例如，卷积神经网络，以得到训练好的关于图像模糊的深度卷积网络，例如利用随机梯度下降法训练整个网络至收敛。

利用训练好的关于图像模糊的深度卷积网络进行图像模糊的过程可以如下所述。在新的待检测人脸图像上进行检查。也就是将待检测人脸图像输入到训练好的关于图像模糊的深度卷积网络，该网络输出人脸的高斯模糊程度和运动模糊程度。根据输出的模糊程度判断人脸图像是否通过图像模糊检查。例如，可以设定模糊阈值，对于具有高斯模糊和运动模糊的人脸图像，可以设定两个模糊阈值，即高斯模糊阈值和运动模糊阈值。如果高斯模糊程度小于高斯模糊阈值并且运动模糊程度小于运动模糊阈值，则确定待检测人脸图像通过图像模糊检查，否则确定待检测人脸图像未通过图像模糊检查。模糊阈值可以根据需要而定，本发明对此不进行限制。例如，高斯模糊阈值可以为0.6，运动模糊阈值可以为4。

示例性地，利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多个人脸关键部位的遮挡状态包括：从待检测人脸图像中提取包含一个或多个人脸关键部位的至少一个图像块；以及利用与一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络计算所述至少一个图像块中的每一个中的对应的人脸关键部位的遮挡状态。

人脸识别的关键部分主要是眼睛、嘴等器官，因此可以主要对眼部和嘴部进行遮挡的判断。示例性地，人脸关键部位可以包括左眼部位、右眼部位和嘴部中的至少一个部位。

对于待检测人脸图像，可以抽取其中分别包含左眼部位、右眼部位和嘴部的三个图像块，图像块的大小可以根据需要而定，本发明对此不进行限制。针对上述三个部位，分别训练好三个对应上述不同关键部位的关于人脸遮挡的深度卷积网络。将上述三个图像块分别对应输入这三个关于人脸遮挡的深度卷积网络，以判断左眼部位、右眼部位和嘴部的遮挡状态。如果这三个部位均未被遮挡，可以认为待检测人脸图像通过人脸遮挡检查，否则认为待检测人脸图像未通过人脸遮挡检查。分别针对每个人脸关键部位建立深度卷积网络的方式可以更有针对性、更准确地判断每个人脸关键部位的遮挡情况。

示例性地，人脸图像处理方法进一步包括：分别基于与一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，例如，卷积神经网络，以得到与所述一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络，其中，所述一个或多个训练图像块集合中的对应人脸关键部位的遮挡状态是已标注好的。

为了训练关于人脸遮挡的深度卷积网络，需要首先获得带标注的数据，也就是需要获得各人脸关键部位的遮挡状态已知的人脸图像块。可以通过以下方式获得所需要的图像块。例如，可以首先收集大量未遮挡的人脸图像，对左眼部位、右眼部位和嘴部的位置进行标注，并抽取出包含左眼部位、右眼部位和嘴部的图像块，作为正样本。另外，还可以收集大量不含人脸的图像，在该图像中随机采集图像块，作为负样本。因为实际场景中通常用手部、帽子等物体遮挡人脸关键部位，因此在不含人脸的图像中可以包括包含人的手部、帽子等常用遮挡物体的图像。在另一示例中，可以收集大量关键部位被遮挡的人脸图像，并抽取出包含被遮挡的关键部位的图像块，作为负样本。例如，如果希望训练针对左眼部位的深度卷积网络，可以收集左眼部位均被遮挡的人脸图像，并抽取包含被遮挡的左眼部位的图像块，作为负样本。在又一示例中，可以利用未遮挡的人脸图像生成关键部位被遮挡的人脸图像，并抽取出包含被遮挡的关键部位的图像块，作为负样本。例如，可以利用图像合成等技术将原本未被遮挡的左眼部位遮挡起来，并抽取包含左眼部位的图像块，作为负样本。对右眼部位和嘴部的处理方式与左眼部位类似，不再赘述。可以理解的是，本文所述的对人脸关键部位的遮挡可以是完全遮挡，也可以是部分遮挡，遮挡比例根据需要而定，本发明对此不进行限制。

需要注意的是，对左眼部位、右眼部位和嘴部的遮挡检查可以使用相同的深度卷积网络结构，该网络结构可以设计为包含M个卷积层，N个全连接层，最后一个全连接层的输出可以为1个浮点数，表示对应的人脸关键部位是否被遮挡。例如，如果输出的数值大于或等于0.5，可以认为对应的人脸关键部位未被遮挡，否则认为对应的人脸关键部位被遮挡。M和N可以任何合适的值，例如M可以为6，N可以为2，但本发明并不限于此。对左眼部位、右眼部位和嘴部分别独立训练遮挡检查的深度卷积网络，基于已经标注的数据，利用随机梯度下降法训练整个网络至收敛。

利用训练好的关于人脸遮挡的深度卷积网络进行人脸遮挡检查的过程可以如下所述。在新的待检测人脸图像上进行检查。抽取待检测人脸图像的左眼部位、右眼部位和嘴部的图像块，将图像块分别输入到相应的关于人脸遮挡的深度卷积网络，判断各人脸关键部位是否被遮挡，进而判断待检测人脸图像是否通过人脸遮挡检查。如果三个人脸关键部位中任何一个的判断结果是被遮挡，则认为待检测人脸图像未通过人脸遮挡检查；否则认为待检测人脸图像通过人脸遮挡检查。人脸遮挡检查所涉及的人脸关键部位可以根据需要而定，本文所述仅是示例而非限制。

示例性地，在分别基于与一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，以得到与所述一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络之前，人脸图像处理方法进一步包括：对于一个或多个人脸关键部位中的每一个，获得第二初始人脸图像集合和第三初始人脸图像集合，其中，该人脸关键部位在第二初始人脸图像集合中未被遮挡，并且该人脸关键部位在第三初始人脸图像集合中被遮挡；从第二初始人脸图像集合中提取包含该人脸关键部位的正样本图像块作为与该人脸关键部位对应的训练图像块集合中的正样本，并且从第三初始人脸图像集合中提取负样本图像块作为与该人脸关键部位对应的训练图像块集合中的负样本，其中，所述负样本图像块中的该人脸关键部位被遮挡。

本实施例已经在上文进行了描述。如上文所述，可以首先收集大量未遮挡的人脸图像，对左眼部位、右眼部位和嘴部的位置进行标注，并抽取出包含左眼部位、右眼部位和嘴部的正样本图像块，作为正样本。可以收集大量关键部位被遮挡的人脸图像，并抽取出包含被遮挡的关键部位的负样本图像块，作为负样本。另外，也可以利用未遮挡的人脸图像生成关键部位被遮挡的人脸图像，并抽取出包含被遮挡的关键部位的图像块，作为负样本。

示例性地，人脸图像处理方法200还可以进一步包括：基于待检测人脸图像的光照情况评估待检测人脸图像的质量；以及根据利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量的第一评估结果以及基于待检测人脸图像的光照情况评估待检测人脸图像的质量的第二评估结果综合评估待检测人脸图像的质量。

除了利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量以外，还可以基于待检测人脸图像的光照情况评估待检测人脸图像的质量。也就是说，可以根据两种评估的结果来综合评估待检测人脸图像的质量。例如，如果通过前一种方法获得的第一评估结果与通过后一种方法获得第二评估结果都表明待检测人脸图像的质量合格，则可以认为待检测人脸图像的质量是合格的。然而，如果第一评估结果和第二评估结果中的任何一者或两者都表明待检测人脸图像的质量不合格，则认为待检测人脸图像的质量不合格。

考虑待检测人脸图像的光照情况，可以进一步提高人脸图像质量的评估准确性。

示例性地，基于待检测人脸图像的光照情况评估待检测人脸图像的质量包括：利用灰度直方图特征计算待检测人脸图像的光照情况，并根据待检测人脸图像的光照情况判断待检测人脸图像是否通过光照检查，如果待检测人脸图像通过光照检查，则确定待检测人脸图像的质量合格。

如上文所述，用于衡量人脸图像质量的指标还可以包括人脸图像的光照情况。如果人脸图像太黑，例如对于在夜晚拍照，曝光不足等情况，拍摄到的人脸图像将很难辨认。所以，对于这种人脸图像，应该被判断为人脸图像质量不合格。在一个实施例中，利用灰度直方图特征可以获知人脸图像的光照情况，进而可以帮助判断待检测人脸图像是否通过光照检查。在通过光照检查的情况下，可以认为待检测人脸图像的质量合格。将基于光照检查操作获得的评估结果视为第二评估结果。

示例性地，利用灰度直方图特征计算待检测人脸图像的光照情况包括：分别针对待检测人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得一个或多个待检测直方图；计算一个或多个待检测直方图中的每一个的特定百分比位置处的亮度值，以获得与一个或多个直方图位置一一对应的一个或多个待检测亮度值，其中，所述一个或多个直方图位置分别具有各自的预定亮度值均值；以及如果在一个或多个待检测亮度值中，存在预定数目的待检测亮度值与对应的预定亮度值均值之差超过一个阈值，则确定待检测人脸图像未通过光照检查。在一个实施例中，除预定亮度值均值以外，所述一个或多个直方图位置还分别具有各自的预定亮度值方差。所述阈值可以为与待检测亮度值对应的预定亮度值方差的两倍，即当存在预定数目的待检测亮度值与对应的预定亮度值均值之差大于对应的预定亮度值方差的两倍时，则确定待检测人脸图像未通过光照检查。

对光照情况的判断可以有很多种方法，例如在灰度直方图上训练线性分类器，对人脸区域的亮度值均值进行建模等。这里仅以如下方法作为示例，并不代表本发明局限于这种方法。可选地，人脸区域可以包括人脸整体、左眼部位、右眼部位和嘴部中的至少一个部位。下面举例说明。通过在人脸整体、左眼部位、右眼部位和嘴部各抽取灰度直方图特征，可以得到四个直方图。直方图位置是指与特定人脸区域相对应的直方图的特定百分比位置。直方图位置可以根据需要而定，也就是特定百分比位置可以是任何合适的位置，本发明对此不进行限定。例如，可以计算这四个直方图在30％和70％分位数处的亮度值，共获得与8个直方图位置相对应的8个亮度值。8个直方图位置中的每一个具有对应的预定亮度值均值和预定亮度值方差，其代表具有正常光照的人脸图像的情况。如果在这8个亮度值中，存在预定数目的亮度值与对应的亮度值均值超过一个阈值，则确定待检测人脸图像未通过光照检查。在一个实施例中，所述阈值为与待检测亮度值对应的预定亮度值方差的两倍，即当存在预定数目的待检测亮度值与对应的预定亮度值均值之差大于对应的亮度值方差的两倍，则可以认为待检测人脸图像未通过光照检查，否则可以认为待检测人脸图像通过光照检查。上述预定数目可以是任何合适的值，例如2。

示例性地，人脸图像处理方法进一步包括：获得第三训练人脸图像集合；对于第三训练人脸图像集合中的每一个训练人脸图像，分别针对该训练人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得与该训练人脸图像相关的一个或多个训练直方图；计算一个或多个训练直方图中的每一个的特定百分比位置处的亮度值，以获得与该训练人脸图像相关的、与一个或多个直方图位置一一对应的一个或多个训练亮度值；对于一个或多个直方图位置中的每一个，计算与第三训练人脸图像集合中的所有训练人脸图像相关的、与该直方图位置相对应的所有训练亮度值的均值，以获得该直方图位置的预定亮度值均值。

第三训练人脸图像集合中的图像是光照情况合格的人脸图像。针对第三训练人脸图像集合中的每个图像，可以分别在人脸整体、左眼部位、右眼部位和嘴部各抽取灰度直方图特征，得到四个直方图。可以计算这四个直方图在30％和70％分位数处的亮度值，共获得与8个直方图位置相对应的8个亮度值。对于每个训练人脸图像，具有与8个直方图位置相对应的8个亮度值，那么对于每个直方图位置，具有与多个训练人脸图像相关的多个亮度值。针对每个直方图位置，计算所有对应的亮度值的均值，可以获得与该直方图位置相对应的预定亮度值均值。另外，还可以针对每个直方图位置，计算所有对应的亮度值的方差，获得与该直方图位置相对应的预定亮度值方差。也就是说，对于这8个直方图位置，可以计算获得8个预定亮度值均值和预定亮度值方差。这些预定亮度值均值和预定亮度值方差可以用于确定待检测人脸图像的光照情况，如上所述。

示例性地，根据人脸角度判断待检测人脸图像是否通过人脸姿态检查包括：如果人脸角度小于角度阈值，则确定待检测人脸图像通过人脸姿态检查；和/或根据模糊程度判断待检测人脸图像是否通过图像模糊检查包括：如果模糊程度小于模糊阈值，则确定待检测人脸图像通过图像模糊检查；和/或根据一个或多个人脸关键部位的遮挡状态判断待检测人脸图像是否通过人脸遮挡检查包括：如果一个或多个人脸关键部位均未被遮挡，则确定人脸图像通过人脸遮挡检查。

对于通过角度阈值确定待检测人脸图像是否通过人脸姿态检查、通过模糊阈值确定待检测人脸图像是否通过图像模糊检查以及通过一个或多个人脸关键部位的遮挡状态确定人脸图像是否通过人脸遮挡检查的实现方式已经在上文中进行了描述，在此不再赘述。

根据本发明另一方面，提供一种人脸图像处理装置。图3示出了根据本发明一个实施例的人脸图像处理装置300的示意性框图。

如图3所示，根据本发明实施例的人脸图像处理装置300包括接收模块310和第一质量评估模块320。

接收模块310用于接收待检测人脸图像。接收模块310可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

第一质量评估模块320用于利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量。第一质量评估模块320可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

根据本发明实施例，第一质量评估模块320可以包括检查子模块，用于利用至少一种训练好的深度卷积网络对待检测人脸图像执行特定检查操作，并且如果待检测人脸图像通过特定检查操作中的所有检查，则确定待检测人脸图像的质量合格，其中，检查子模块包括以下检查组件中的一项或多项：人脸姿态检查组件、图像模糊检查组件和人脸遮挡检查组件，人脸姿态检查组件包括：第一计算单元，用于利用关于人脸姿态的深度卷积网络计算待检测人脸图像的人脸角度；以及第一判断单元，用于根据待检测人脸图像的人脸角度判断待检测人脸图像是否通过人脸姿态检查；图像模糊检查组件包括：第二计算单元，用于利用关于图像模糊的深度卷积网络计算待检测人脸图像的模糊程度；以及第二判断单元，用于根据待检测人脸图像的模糊程度判断待检测人脸图像是否通过图像模糊检查；以及人脸遮挡检查组件包括：第三计算单元，用于利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多个人脸关键部位的遮挡状态；以及第三判断单元，用于根据待检测人脸图像中的一个或多个人脸关键部位的遮挡状态判断待检测人脸图像是否通过人脸遮挡检查。

根据本发明实施例，人脸图像处理装置300可以进一步包括：第一训练模块，用于基于第一训练人脸图像集合通过深度学习方法训练神经网络，例如，卷积神经网络，以得到关于人脸姿态的深度卷积网络，其中，所述第一训练人脸图像集合中的每个训练人脸图像的人脸角度是已标注好的。

根据本发明实施例，人脸图像处理装置300可以进一步包括：第二训练模块，用于基于第二训练人脸图像集合通过深度学习方法训练神经网络，例如，卷积神经网络，以得到关于图像模糊的深度卷积网络，其中，第二训练人脸图像集合中的每个训练人脸图像的模糊程度是已标注好的。

根据本发明实施例，人脸图像处理装置300可以进一步包括：第一图像获得模块，用于获得第一初始人脸图像集合；以及卷积模块，用于利用预定高斯核和预定运动模糊核对第一初始人脸图像集合中的每个初始人脸图像进行卷积，以生成所述第二训练人脸图像集合。

根据本发明实施例，第三计算单元可以包括：提取子单元，用于从待检测人脸图像中提取包含一个或多个人脸关键部位的至少一个图像块；以及计算子单元，用于利用与一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络计算所述至少一个图像块中的每一个中的对应的人脸关键部位的遮挡状态。

根据本发明实施例，人脸图像处理装置300可以进一步包括：第三训练模块，用于分别基于与一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，例如，卷积神经网络，以得到与所述一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络，其中，所述一个或多个训练图像块集合中的对应人脸关键部位的遮挡状态是已标注好的。

根据本发明实施例，人脸图像处理装置300可以进一步包括：第二图像获得模块，用于对于一个或多个人脸关键部位中的每一个，获得第二初始人脸图像集合和第三初始人脸图像集合，其中，该人脸关键部位在第二初始人脸图像集合中未被遮挡，并且该人脸关键部位在第三初始人脸图像集合中被遮挡；以及样本提取模块，用于对于一个或多个人脸关键部位中的每一个，从第二初始人脸图像集合中提取包含该人脸关键部位的正样本图像块作为与该人脸关键部位对应的训练图像块集合中的正样本，并且从第三初始人脸图像集合中提取负样本图像块作为与该人脸关键部位对应的训练图像块集合中的负样本，其中，所述负样本图像块中的该人脸关键部位被遮挡。

根据本发明实施例，人脸图像处理装置300可以进一步包括：第二质量评估模块，用于基于待检测人脸图像的光照情况评估待检测人脸图像的质量；以及综合质量评估模块，用于根据第一质量评估模块的第一评估结果以及第二质量评估模块的第二评估结果综合评估待检测人脸图像的质量。

根据本发明实施例，第二质量评估模块可以包括：计算子模块，用于利用灰度直方图特征计算待检测人脸图像的光照情况；以及判断子模块，用于根据待检测人脸图像的光照情况判断待检测人脸图像是否通过光照检查，如果待检测人脸图像通过光照检查，则确定待检测人脸图像的质量合格。

根据本发明实施例，计算子模块可以包括：直方图获得单元，用于分别针对待检测人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得一个或多个待检测直方图；亮度计算单元，用于计算一个或多个待检测直方图中的每一个的特定百分比位置处的亮度值，以获得与一个或多个直方图位置一一对应的一个或多个待检测亮度值，其中，一个或多个直方图位置分别具有各自的预定亮度值均值；以及光照确定单元，用于如果在一个或多个待检测亮度值中，存在预定数目的待检测亮度值与对应的预定亮度值均值之差超过一个阈值，则确定待检测人脸图像未通过光照检查。在一个实施例中，除预定亮度值均值以外，所述一个或多个直方图位置还分别具有各自的预定亮度值方差，并且，所述阈值为与待检测亮度值对应的预定亮度值方差的两倍，即当存在预定数目的待检测亮度值与对应的预定亮度值均值之差大于对应的预定亮度值方差的两倍，则确定待检测人脸图像未通过光照检查。

根据本发明实施例，人脸图像处理装置300可以进一步包括：第三图像获得模块，用于获得第三训练人脸图像集合；直方图获得模块，用于对于第三训练人脸图像集合中的每一个训练人脸图像，分别针对该训练人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得与该训练人脸图像相关的一个或多个训练直方图；亮度计算模块，用于对于第三训练人脸图像集合中的每一个训练人脸图像，计算一个或多个训练直方图中的每一个的特定百分比位置处的亮度值，以获得与该训练人脸图像相关的、与一个或多个直方图位置一一对应的一个或多个训练亮度值；以及均值计算模块，用于对于一个或多个直方图位置中的每一个，计算与第三训练人脸图像集合中的所有训练人脸图像相关的、与该直方图位置相对应的所有训练亮度值的均值，以获得该直方图位置的预定亮度值均值。在一个实施例中，除了预定亮度值均值，所述均值计算模块还计算与该直方图位置相对应的所有训练亮度值的方差，以获得该直方图位置的预定亮度值方差，用于计算阈值。在一个实施例中，所述阈值可以是与待检测亮度值对应的预定亮度值方差的两倍。

根据本发明实施例，上述人脸区域包括人脸整体、左眼部位、右眼部位和嘴部中的至少一个部位。

根据本发明实施例，上述人脸关键部位包括左眼部位、右眼部位和嘴部中的至少一个部位。

根据本发明实施例，第一判断单元包括姿态确定子单元，用于如果所述人脸角度小于角度阈值，则确定所述待检测人脸图像通过人脸姿态检查；和/或第二判断单元包括高斯模糊确定子单元和运动模糊确定子单元，分别用于判断高斯模糊程度和运动模糊程度是否小于对应的模糊阈值，如果高斯模糊程度和运动模糊程度均小于对应的模糊阈值，则确定所述待检测人脸图像通过图像模糊检查；和/或第三判断单元包括遮挡确定子单元，用于如果所述一个或多个人脸关键部位均未被遮挡，则确定所述人脸图像通过人脸遮挡检查。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

图4示出了根据本发明一个实施例的人脸图像处理系统400的示意性框图。人脸图像处理系统400包括图像采集装置410、存储装置420、以及处理器430。

图像采集装置410用于采集待检测人脸图像。图像采集装置410是可选的，人脸图像处理系统400可以不包括图像采集装置410。

所述存储装置420存储用于实现根据本发明实施例的人脸图像处理方法中的相应步骤的程序代码。

所述处理器430用于运行所述存储装置420中存储的程序代码，以执行根据本发明实施例的人脸图像处理方法的相应步骤，并且用于实现根据本发明实施例的人脸图像处理装置中的接收模块310和第一质量评估模块320。

在一个实施例中，所述程序代码在被所述处理器430运行时，使得所述人脸图像处理系统400执行以下步骤：接收待检测人脸图像；以及利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量。

在一个实施例中，所述程序代码在被所述处理器430运行时，使得所述人脸图像处理系统400所执行的利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量包括：利用所述至少一种训练好的深度卷积网络对待检测人脸图像执行特定检查操作，并且如果待检测人脸图像通过特定检查操作中的所有检查，则确定待检测人脸图像的质量合格，其中，特定检查操作包括以下检查操作中的一项或多项：利用关于人脸姿态的深度卷积网络计算待检测人脸图像的人脸角度，并根据待检测人脸图像的人脸角度判断待检测人脸图像是否通过人脸姿态检查；利用关于图像模糊的深度卷积网络计算待检测人脸图像的模糊程度，并根据待检测人脸图像的模糊程度判断待检测人脸图像是否通过图像模糊检查；以及利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多个人脸关键部位的遮挡状态，并根据待检测人脸图像中的一个或多个人脸关键部位的遮挡状态判断待检测人脸图像是否通过人脸遮挡检查。

在一个实施例中，所述程序代码在被所述处理器430运行时，还使得所述人脸图像处理系统400执行：基于第一训练人脸图像集合通过深度学习方法训练神经网络，以得到关于人脸姿态的深度卷积网络，其中，第一训练人脸图像集合中的每个训练人脸图像的人脸角度是已标注好的。

在一个实施例中，所述程序代码在被所述处理器430运行时，还使得所述人脸图像处理系统400执行：基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到关于图像模糊的深度卷积网络，其中，第二训练人脸图像集合中的每个训练人脸图像的模糊程度是已标注好的。

在一个实施例中，在所述程序代码在被所述处理器430运行时，使得所述人脸图像处理系统400所执行的基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到关于图像模糊的深度卷积网络之前，所述程序代码在被所述处理器430运行时还使得所述人脸图像处理系统400执行：获得第一初始人脸图像集合；以及利用预定高斯核和预定运动模糊核对第一初始人脸图像集合中的每个初始人脸图像进行卷积，以生成第二训练人脸图像集合。

在一个实施例中，所述程序代码在被所述处理器430运行时，使得所述人脸图像处理系统400所执行的利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多个人脸关键部位的遮挡状态包括：从待检测人脸图像中提取包含一个或多个人脸关键部位的至少一个图像块；以及利用与一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络计算至少一个图像块中的每一个中的对应的人脸关键部位的遮挡状态。

在一个实施例中，所述程序代码在被所述处理器430运行时，还使得所述人脸图像处理系统400执行：分别基于与一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，以得到与所述一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络，其中，一个或多个训练图像块集合中的对应人脸关键部位的遮挡状态是已标注好的。

在一个实施例中，在所述程序代码在被所述处理器运行时，使得所述人脸图像处理系统400所执行的分别基于与一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，以得到与所述一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络之前，所述程序代码在被所述处理器运行时还使得所述人脸图像处理系统400执行：对于一个或多个人脸关键部位中的每一个，获得第二初始人脸图像集合和第三初始人脸图像集合，其中，该人脸关键部位在第二初始人脸图像集合中未被遮挡，并且该人脸关键部位在第三初始人脸图像集合中被遮挡；从第二初始人脸图像集合中提取包含该人脸关键部位的正样本图像块作为与该人脸关键部位对应的训练图像块集合中的正样本，并且从第三初始人脸图像集合中提取负样本图像块作为与该人脸关键部位对应的训练图像块集合中的负样本，其中，所述负样本图像块中的该人脸关键部位被遮挡。

在一个实施例中，所述程序代码在被所述处理器430运行时，还使得所述人脸图像处理系统400进一步执行：基于待检测人脸图像的光照情况评估待检测人脸图像的质量；以及根据利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量的第一评估结果以及基于待检测人脸图像的光照情况评估待检测人脸图像的质量的第二评估结果综合评估待检测人脸图像的质量。

在一个实施例中，在所述程序代码在被所述处理器运行时，使得所述人脸图像处理系统400所执行的基于所述待检测人脸图像的光照情况评估所述待检测人脸图像的质量包括：利用灰度直方图特征计算待检测人脸图像的光照情况，并根据待检测人脸图像的光照情况判断待检测人脸图像是否通过光照检查，如果待检测人脸图像通过光照检查，则确定待检测人脸图像的质量合格。

在一个实施例中，所述程序代码在被所述处理器430运行时，使得所述人脸图像处理系统400所执行的利用灰度直方图特征计算待检测人脸图像的光照情况包括：分别针对待检测人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得一个或多个待检测直方图；计算一个或多个待检测直方图中的每一个的特定百分比位置处的亮度值，以获得与一个或多个直方图位置一一对应的一个或多个待检测亮度值，其中，一个或多个直方图位置分别具有各自的预定亮度值均值；以及如果在一个或多个待检测亮度值中，存在预定数目的待检测亮度值与对应的预定亮度值均值之差超过一个阈值，则确定待检测人脸图像未通过光照检查。

在一个实施例中，所述程序代码在被所述处理器430运行时，还使得所述人脸图像处理系统400执行：获得第三训练人脸图像集合；对于第三训练人脸图像集合中的每一个训练人脸图像，分别针对该训练人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得与该训练人脸图像相关的一个或多个训练直方图；计算一个或多个训练直方图中的每一个的特定百分比位置处的亮度值，以获得与该训练人脸图像相关的、与一个或多个直方图位置一一对应的一个或多个训练亮度值；对于一个或多个直方图位置中的每一个，计算与第三训练人脸图像集合中的所有训练人脸图像相关的、与该直方图位置相对应的所有训练亮度值的均值，以获得该直方图位置的预定亮度值均值。

在一个实施例中，所述程序代码在被所述处理器430运行时，使得所述人脸图像处理系统400所执行的根据人脸角度判断待检测人脸图像是否通过人脸姿态检查包括：如果人脸角度小于角度阈值，则确定待检测人脸图像通过人脸姿态检查；和/或所述程序代码在被所述处理器430运行时，使得所述人脸图像处理系统400所执行的根据模糊程度判断待检测人脸图像是否通过图像模糊检查包括：如果模糊程度小于模糊阈值，则确定待检测人脸图像通过图像模糊检查；和/或所述程序代码在被所述处理器430运行时，使得所述人脸图像处理系统400所执行的根据一个或多个人脸关键部位的遮挡状态判断待检测人脸图像是否通过人脸遮挡检查包括：如果一个或多个人脸关键部位均未被遮挡，则确定人脸图像通过人脸遮挡检查。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了计算机程序指令，在所述程序指令被计算机或处理器运行时使得所述计算机或处理器执行本发明实施例的人脸图像处理方法的相应步骤，并且用于实现根据本发明实施例的人脸图像处理装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

在一个实施例中，所述计算机程序指令在被计算机或处理器运行时可以实现根据本发明实施例的人脸图像处理装置的各个功能模块，并且/或者可以执行根据本发明实施例的人脸图像处理方法。

在一个实施例中，所述计算机程序指令在被计算机运行时，使得所述计算机执行以下步骤：接收待检测人脸图像；以及利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量。

在一个实施例中，所述计算机程序指令在被计算机运行时，使得所述计算机所执行的利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量包括：利用所述至少一种训练好的深度卷积网络对待检测人脸图像执行特定检查操作，并且如果待检测人脸图像通过特定检查操作中的所有检查，则确定待检测人脸图像的质量合格，其中，特定检查操作包括以下检查操作中的一项或多项：利用关于人脸姿态的深度卷积网络计算待检测人脸图像的人脸角度，并根据待检测人脸图像的人脸角度判断待检测人脸图像是否通过人脸姿态检查；利用关于图像模糊的深度卷积网络计算待检测人脸图像的模糊程度，并根据待检测人脸图像的模糊程度判断待检测人脸图像是否通过图像模糊检查；以及利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多个人脸关键部位的遮挡状态，并根据待检测人脸图像中的一个或多个人脸关键部位的遮挡状态判断待检测人脸图像是否通过人脸遮挡检查。

在一个实施例中，所述计算机程序指令在被计算机运行时，还使得计算机执行：基于第一训练人脸图像集合通过深度学习方法训练神经网络，以得到关于人脸姿态的深度卷积网络，其中，第一训练人脸图像集合中的每个训练人脸图像的人脸角度是已标注好的。

在一个实施例中，所述计算机程序指令在被计算机运行时，还使得计算机执行：基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到关于图像模糊的深度卷积网络，其中，第二训练人脸图像集合中的每个训练人脸图像的模糊程度是已标注好的。

在一个实施例中，在所述计算机程序指令在被计算机运行时使得计算机所执行的基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到关于图像模糊的深度卷积网络之前，所述计算机程序指令在被计算机运行时还使得计算机执行：获得第一初始人脸图像集合；以及利用预定高斯核和预定运动模糊核对第一初始人脸图像集合中的每个初始人脸图像进行卷积，以生成第二训练人脸图像集合。

在一个实施例中，所述计算机程序指令在被计算机运行时使计算机所执行的利用关于人脸遮挡的深度卷积网络计算待检测人脸图像中的一个或多个人脸关键部位的遮挡状态包括：从待检测人脸图像中提取包含一个或多个人脸关键部位的至少一个图像块；以及利用与一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络计算所述至少一个图像块中的每一个中的对应的人脸关键部位的遮挡状态。

在一个实施例中，所述计算机程序指令在被计算机运行时还使得计算机执行：分别基于与一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，以得到与所述一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络，其中，一个或多个训练图像块集合中的对应人脸关键部位的遮挡状态是已标注好的。

在一个实施例中，在所述计算机程序指令在被计算机运行时所执行的分别基于与一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，以得到与所述一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络之前，所述计算机程序指令在被计算机运行时还使得计算机执行：对于一个或多个人脸关键部位中的每一个，获得第二初始人脸图像集合和第三初始人脸图像集合，其中，该人脸关键部位在第二初始人脸图像集合中未被遮挡，并且该人脸关键部位在第三初始人脸图像集合中被遮挡；从第二初始人脸图像集合中提取包含该人脸关键部位的正样本图像块作为与该人脸关键部位对应的训练图像块集合中的正样本，并且从第三初始人脸图像集合中提取负样本图像块作为与该人脸关键部位对应的训练图像块集合中的负样本，其中，所述负样本图像块中的该人脸关键部位被遮挡。

在一个实施例中，所述计算机程序指令在被计算机运行时，还使得所述计算机进一步执行：基于待检测人脸图像的光照情况评估待检测人脸图像的质量；以及根据利用至少一种训练好的深度卷积网络评估待检测人脸图像的质量的第一评估结果以及基于待检测人脸图像的光照情况评估待检测人脸图像的质量的第二评估结果综合评估待检测人脸图像的质量。

在一个实施例中，所述计算机程序指令在被计算机运行时使计算机所执行的基于所述待检测人脸图像的光照情况评估所述待检测人脸图像的质量包括：利用灰度直方图特征计算待检测人脸图像的光照情况，并根据待检测人脸图像的光照情况判断待检测人脸图像是否通过光照检查，如果待检测人脸图像通过光照检查，则确定待检测人脸图像的质量合格。

在一个实施例中，所述计算机程序指令在被计算机运行时使所述计算机所执行的利用灰度直方图特征计算待检测人脸图像的光照情况包括：分别针对待检测人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得一个或多个待检测直方图；计算一个或多个待检测直方图中的每一个的特定百分比位置处的亮度值，以获得与一个或多个直方图位置一一对应的一个或多个待检测亮度值，其中，一个或多个直方图位置分别具有各自的预定亮度值均值；以及如果在一个或多个待检测亮度值中，存在预定数目的待检测亮度值与对应的预定亮度值均值之差超过一个阈值，则确定待检测人脸图像未通过光照检查。

在一个实施例中，所述计算机程序指令在被计算机运行时还使得计算机执行：获得第三训练人脸图像集合；对于第三训练人脸图像集合中的每一个训练人脸图像，分别针对该训练人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得与该训练人脸图像相关的一个或多个训练直方图；计算一个或多个训练直方图中的每一个的特定百分比位置处的亮度值，以获得与该训练人脸图像相关的、与一个或多个直方图位置一一对应的一个或多个训练亮度值；对于一个或多个直方图位置中的每一个，计算与第三训练人脸图像集合中的所有训练人脸图像相关的、与该直方图位置相对应的所有训练亮度值的均值，以获得该直方图位置的预定亮度值均值。

在一个实施例中，所述计算机程序指令在被计算机运行时使计算机所执行的根据人脸角度判断待检测人脸图像是否通过人脸姿态检查包括：如果人脸角度小于角度阈值，则确定待检测人脸图像通过人脸姿态检查；和/或所述计算机程序指令在被计算机运行时所执行的根据模糊程度判断待检测人脸图像是否通过图像模糊检查包括：如果模糊程度小于模糊阈值，则确定待检测人脸图像通过图像模糊检查；和/或所述计算机程序指令在被计算机运行时所执行的根据一个或多个人脸关键部位的遮挡状态判断待检测人脸图像是否通过人脸遮挡检查包括：如果一个或多个人脸关键部位均未被遮挡，则确定人脸图像通过人脸遮挡检查。

根据本发明实施例的人脸图像处理系统中的各模块可以通过根据本发明实施例的实施人脸图像处理的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的人脸图像处理方法及装置、人脸图像处理系统以及存储介质，利用训练好的深度卷积网络可以准确评估待检测人脸图像的质量，有助于提高人脸识别的准确性。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (25)

1.一种人脸图像处理方法，包括：

接收待检测人脸图像；以及

利用至少一种训练好的深度卷积网络评估所述待检测人脸图像的质量。

2.如权利要求1所述的人脸图像处理方法，其中，所述利用至少一种训练好的深度卷积网络评估所述待检测人脸图像的质量包括：

利用所述至少一种训练好的深度卷积网络对所述待检测人脸图像执行特定检查操作，并且如果所述待检测人脸图像通过所述特定检查操作中的所有检查，则确定所述待检测人脸图像的质量合格，

其中，所述特定检查操作包括以下检查操作中的一项或多项：

利用关于人脸姿态的深度卷积网络计算所述待检测人脸图像的人脸角度，并根据所述待检测人脸图像的人脸角度判断所述待检测人脸图像是否通过人脸姿态检查；

利用关于图像模糊的深度卷积网络计算所述待检测人脸图像的模糊程度，并根据所述待检测人脸图像的模糊程度判断所述待检测人脸图像是否通过图像模糊检查；以及

利用关于人脸遮挡的深度卷积网络计算所述待检测人脸图像中的一个或多个人脸关键部位的遮挡状态，并根据所述待检测人脸图像中的一个或多个人脸关键部位的遮挡状态判断所述待检测人脸图像是否通过人脸遮挡检查。

3.如权利要求2所述的人脸图像处理方法，其中，所述人脸图像处理方法进一步包括：

基于第一训练人脸图像集合通过深度学习方法训练神经网络，以得到所述关于人脸姿态的深度卷积网络，其中，所述第一训练人脸图像集合中的每个训练人脸图像的人脸角度是已标注好的。

4.如权利要求2所述的人脸图像处理方法，其中，所述人脸图像处理方法进一步包括：

基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到所述关于图像模糊的深度卷积网络，其中，所述第二训练人脸图像集合中的每个训练人脸图像的模糊程度是已标注好的。

5.如权利要求4所述的人脸图像处理方法，其中，在所述基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到所述关于图像模糊的深度卷积网络之前，所述人脸图像处理方法进一步包括：

获得第一初始人脸图像集合；以及

利用预定高斯核和预定运动模糊核对所述第一初始人脸图像集合中的每个初始人脸图像进行卷积，以生成所述第二训练人脸图像集合。

6.如权利要求2所述的人脸图像处理方法，其中，所述利用关于人脸遮挡的深度卷积网络计算所述待检测人脸图像中的一个或多个人脸关键部位的遮挡状态包括：

从所述待检测人脸图像中提取包含所述一个或多个人脸关键部位的至少一个图像块；以及

利用与所述一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络计算所述至少一个图像块中的每一个中的对应的人脸关键部位的遮挡状态。

7.如权利要求6所述的人脸图像处理方法，其中，所述人脸图像处理方法进一步包括：

分别基于与所述一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，以得到与所述一个或多个人脸关键部位一一对应的所述一个或多个关于人脸遮挡的深度卷积网络，其中，所述一个或多个训练图像块集合中的对应人脸关键部位的遮挡状态是已标注好的。

8.如权利要求7所述的人脸图像处理方法，其中，在所述分别基于与所述一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，以得到与所述一个或多个人脸关键部位一一对应的所述一个或多个关于人脸遮挡的深度卷积网络之前，所述人脸图像处理方法进一步包括：

对于所述一个或多个人脸关键部位中的每一个，

获得第二初始人脸图像集合和第三初始人脸图像集合，其中，该人脸关键部位在所述第二初始人脸图像集合中未被遮挡，并且该人脸关键部位在所述第三初始人脸图像集合中被遮挡；

从所述第二初始人脸图像集合中提取包含该人脸关键部位的正样本图像块作为与该人脸关键部位对应的训练图像块集合中的正样本，并且从所述第三初始人脸图像集合中提取负样本图像块作为与该人脸关键部位对应的训练图像块集合中的负样本，其中，所述负样本图像块中的该人脸关键部位被遮挡。

9.如权利要求1所述的人脸图像处理方法，进一步包括：

基于所述待检测人脸图像的光照情况评估所述待检测人脸图像的质量；以及

根据利用所述至少一种训练好的深度卷积网络评估所述待检测人脸图像的质量的第一评估结果以及基于所述待检测人脸图像的光照情况评估所述待检测人脸图像的质量的第二评估结果综合评估所述待检测人脸图像的质量。

10.如权利要求9所述的人脸图像处理方法，其中，所述基于所述待检测人脸图像的光照情况评估所述待检测人脸图像的质量包括：

利用灰度直方图特征计算所述待检测人脸图像的光照情况，并根据所述待检测人脸图像的光照情况判断所述待检测人脸图像是否通过光照检查，如果所述待检测人脸图像通过所述光照检查，则确定所述待检测人脸图像的质量合格。

11.如权利要求10所述的人脸图像处理方法，其中，所述利用灰度直方图特征计算所述待检测人脸图像的光照情况包括：

分别针对所述待检测人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得一个或多个待检测直方图；

计算所述一个或多个待检测直方图中的每一个的特定百分比位置处的亮度值，以获得与一个或多个直方图位置一一对应的一个或多个待检测亮度值，其中，所述一个或多个直方图位置分别具有各自的预定亮度值均值；以及

如果在所述一个或多个待检测亮度值中，存在预定数目的待检测亮度值与对应的预定亮度值均值之差超过一个阈值，则确定所述待检测人脸图像未通过光照检查。

12.如权利要求11所述的人脸图像处理方法，其中，人脸图像处理方法进一步包括：

获得第三训练人脸图像集合；

对于所述第三训练人脸图像集合中的每一个训练人脸图像，

分别针对该训练人脸图像中的所述一个或多个人脸区域抽取灰度直方图特征，以获得与该训练人脸图像相关的一个或多个训练直方图；

计算所述一个或多个训练直方图中的每一个的特定百分比位置处的亮度值，以获得与该训练人脸图像相关的、与所述一个或多个直方图位置一一对应的一个或多个训练亮度值；

对于所述一个或多个直方图位置中的每一个，计算与所述第三训练人脸图像集合中的所有训练人脸图像相关的、与该直方图位置相对应的所有训练亮度值的均值，以获得该直方图位置的预定亮度值均值。

13.如权利要求2所述的人脸图像处理方法，其中，

所述根据所述人脸角度判断所述待检测人脸图像是否通过人脸姿态检查包括：如果所述人脸角度小于角度阈值，则确定所述待检测人脸图像通过人脸姿态检查；和/或

所述根据所述模糊程度判断所述待检测人脸图像是否通过图像模糊检查包括：如果所述模糊程度小于模糊阈值，则确定所述待检测人脸图像通过图像模糊检查；和/或

所述根据所述一个或多个人脸关键部位的遮挡状态判断所述待检测人脸图像是否通过人脸遮挡检查包括：如果所述一个或多个人脸关键部位均未被遮挡，则确定所述人脸图像通过人脸遮挡检查。

14.一种人脸图像处理装置，包括：

接收模块，用于接收待检测人脸图像；以及

第一质量评估模块，用于利用至少一种训练好的深度卷积网络评估所述待检测人脸图像的质量。

15.如权利要求14所述的人脸图像处理装置，其中，所述第一质量评估模块包括检查子模块，用于利用所述至少一种训练好的深度卷积网络对所述待检测人脸图像执行特定检查操作，并且如果所述待检测人脸图像通过所述特定检查操作中的所有检查，则确定所述待检测人脸图像的质量合格，

其中，所述检查子模块包括以下检查组件中的一项或多项：

人脸姿态检查组件，包括：

第一计算单元，用于利用关于人脸姿态的深度卷积网络计算所述待检测人脸图像的人脸角度；以及

第一判断单元，用于根据所述待检测人脸图像的人脸角度判断所述待检测人脸图像是否通过人脸姿态检查；

图像模糊检查组件，包括：

第二计算单元，用于利用关于图像模糊的深度卷积网络计算所述待检测人脸图像的模糊程度；以及

第二判断单元，用于根据所述待检测人脸图像的模糊程度判断所述待检测人脸图像是否通过图像模糊检查；以及

人脸遮挡检查组件，包括：

第三计算单元，用于利用关于人脸遮挡的深度卷积网络计算所述待检测人脸图像中的一个或多个人脸关键部位的遮挡状态；以及

第三判断单元，用于根据所述待检测人脸图像中的一个或多个人脸关键部位的遮挡状态判断所述待检测人脸图像是否通过人脸遮挡检查。

16.如权利要求15所述的人脸图像处理装置，其中，所述人脸图像处理装置进一步包括：

第一训练模块，用于基于第一训练人脸图像集合通过深度学习方法训练神经网络，以得到所述关于人脸姿态的深度卷积网络，其中，所述第一训练人脸图像集合中的每个训练人脸图像的人脸角度是已标注好的。

17.如权利要求15所述的人脸图像处理装置，其中，所述人脸图像处理装置进一步包括：

第二训练模块，用于基于第二训练人脸图像集合通过深度学习方法训练神经网络，以得到所述关于图像模糊的深度卷积网络，其中，所述第二训练人脸图像集合中的每个训练人脸图像的模糊程度是已标注好的。

18.如权利要求17所述的人脸图像处理装置，其中，所述人脸图像处理装置进一步包括：

第一图像获得模块，用于获得第一初始人脸图像集合；以及

卷积模块，用于利用预定高斯核和预定运动模糊核对所述第一初始人脸图像集合中的每个初始人脸图像进行卷积，以生成所述第二训练人脸图像集合。

19.如权利要求15所述的人脸图像处理装置，其中，所述第三计算单元包括：

提取子单元，用于从所述待检测人脸图像中提取包含所述一个或多个人脸关键部位的至少一个图像块；以及

计算子单元，用于利用与所述一个或多个人脸关键部位一一对应的一个或多个关于人脸遮挡的深度卷积网络计算所述至少一个图像块中的每一个中的对应的人脸关键部位的遮挡状态。

20.如权利要求19所述的人脸图像处理装置，其中，所述人脸图像处理装置进一步包括：

第三训练模块，用于分别基于与所述一个或多个人脸关键部位一一对应的一个或多个训练图像块集合通过深度学习方法训练神经网络，以得到与所述一个或多个人脸关键部位一一对应的所述一个或多个关于人脸遮挡的深度卷积网络，其中，所述一个或多个训练图像块集合中的对应人脸关键部位的遮挡状态是已标注好的。

21.如权利要求20所述的人脸图像处理装置，其中，所述人脸图像处理装置进一步包括：

第二图像获得模块，用于对于所述一个或多个人脸关键部位中的每一个，获得第二初始人脸图像集合和第三初始人脸图像集合，其中，该人脸关键部位在所述第二初始人脸图像集合中未被遮挡，并且该人脸关键部位在所述第三初始人脸图像集合中被遮挡；以及

样本提取模块，用于对于所述一个或多个人脸关键部位中的每一个，从所述第二初始人脸图像集合中提取包含该人脸关键部位的正样本图像块作为与该人脸关键部位对应的训练图像块集合中的正样本，并且从所述第三初始人脸图像集合中提取负样本图像块作为与该人脸关键部位对应的训练图像块集合中的负样本，其中，所述负样本图像块中的该人脸关键部位被遮挡。

22.如权利要求14所述的人脸图像处理装置，其中，所述人脸图像处理装置进一步包括：

第二质量评估模块，用于基于所述待检测人脸图像的光照情况评估所述待检测人脸图像的质量；以及

综合质量评估模块，用于根据所述第一质量评估模块的第一评估结果以及所述第二质量评估模块的第二评估结果综合评估所述待检测人脸图像的质量。

23.如权利要求22所述的人脸图像处理装置，其中，所述第二质量评估模块包括：

计算子模块，用于利用灰度直方图特征计算所述待检测人脸图像的光照情况；以及

判断子模块，用于根据所述待检测人脸图像的光照情况判断所述待检测人脸图像是否通过光照检查，如果所述待检测人脸图像通过所述光照检查，则确定所述待检测人脸图像的质量合格。

24.如权利要求23所述的人脸图像处理装置，其中，所述计算子模块包括：

直方图获得单元，用于分别针对所述待检测人脸图像中的一个或多个人脸区域抽取灰度直方图特征，以获得一个或多个待检测直方图；

亮度计算单元，用于计算所述一个或多个待检测直方图中的每一个的特定百分比位置处的亮度值，以获得与一个或多个直方图位置一一对应的一个或多个待检测亮度值，其中，所述一个或多个直方图位置分别具有各自的预定亮度值均值；以及

光照确定单元，用于如果在所述一个或多个待检测亮度值中，存在预定数目的待检测亮度值与对应的预定亮度值均值之差超过一个阈值，则确定所述待检测人脸图像未通过光照检查。

25.如权利要求24所述的人脸图像处理装置，其中，人脸图像处理装置进一步包括：

第三图像获得模块，用于获得第三训练人脸图像集合；

直方图获得模块，用于对于所述第三训练人脸图像集合中的每一个训练人脸图像，分别针对该训练人脸图像中的所述一个或多个人脸区域抽取灰度直方图特征，以获得与该训练人脸图像相关的一个或多个训练直方图；

亮度计算模块，用于对于所述第三训练人脸图像集合中的每一个训练人脸图像，计算所述一个或多个训练直方图中的每一个的特定百分比位置处的亮度值，以获得与该训练人脸图像相关的、与所述一个或多个直方图位置一一对应的一个或多个训练亮度值；以及

均值计算模块，用于对于所述一个或多个直方图位置中的每一个，计算与所述第三训练人脸图像集合中的所有训练人脸图像相关的、与该直方图位置相对应的所有训练亮度值的均值，以获得该直方图位置的预定亮度值均值。