CN111259815A - 一种人脸图像质量评估方法、系统、设备及介质 - Google Patents

Abstract

本申请公开了一种人脸图像质量评估方法、系统、设备及介质，其中的方法包括：获取人脸图像；分别对人脸图像进行预处理、对人脸图像的人脸姿态进行估计并判断人脸图像中人脸的属性种类；根据预处理的结果、人脸姿态的检测结果以及人脸的属性种类的结果对人脸图像的质量进行联合评估。本申请通过采用可选的多种评价指标对人脸图像进行联合评估，能够更加全面有效的评估图像质量。

Description

一种人脸图像质量评估方法、系统、设备及介质

技术领域

本申请涉及人脸检测技术领域，尤其涉及一种人脸图像质量评估方法、系统、设备及介质。

背景技术

现有的人脸图像质量评价方法常用结合人脸图像的多种属性评价其质量，包括人脸姿态、遮挡、光照和图像模糊的属性，首先通过机器学习方法计算这些属性值，然后基于人脸的多个属性值使用基于规则的方法排除质量较差的人脸图像。做人脸图像质量评价的主要目的是提高后续人脸比对的成功率，同时减少参与比对的人脸图像。但是现有的人脸图像质量评价方法并没有考虑人脸的多种属性之间的关系，并且也不能根据一定的场所选择所需要的影响因素进行联合评价，因此在进行人脸质量评价时准确率并不一定很高，另外一些评价规则的设计也有较强的主观性。

公开号为CN107832802A的中国发明专利提出了一种基于人脸比对的人脸图像质量评价方法，可以提高人脸比对的准确率。然而实际场景中，人脸偏转角度、光照程度、以及图像模糊程度对人脸比对有不同的影响值，从而影响人脸图像质量的评价。然而这种方法并不能满足在多种场景时采用不同的评价指标进行评价，其适用性不强，并且其选取的特征也相当有限。

发明内容

本申请实施例提供了一种人脸图像质量评估方法、系统、设备及介质，使得本申请能够根据场景需要选取不同的评价指标对人脸图像的质量进行评估。

有鉴于此，本申请第一方面提供了一种人脸图像质量评估方法，所述方法包括：

获取人脸图像；

对所述人脸图像进行预处理；

对所述人脸图像的人脸姿态进行估计；

判断所述人脸图像中人脸的属性种类；

根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果对人脸图像的质量进行联合评估。

可选的，所述对人脸图像进行预处理具体为：

计算得到人脸图像的清晰度、亮度、人脸正序指标、噪声度以及拉伸度。

可选的，所述对人脸姿态进行估计具体为：

从人脸姿态的多个方向角度对人脸姿态进行估计。

可选的，所述人脸的属性种类包括为：

人脸表情、性别、年龄、种族、张闭嘴、墨镜、帽子、口罩、遮挡和睁闭眼。

可选的，所述根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果对人脸图像的质量进行联合评估具体为：

根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果中的任一结果对人脸图像质量进行评估。

可选的，所述根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果对人脸图像的质量进行联合评估具体为：

根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果中的任意两项结果对人脸图像质量进行联合评估。

可选的，所述根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果对人脸图像的质量进行联合评估具体为：

根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果中三项结果对人脸图像质量进行联合评估。

本申请第二方面提供一种人脸图像质量评估系统，所述系统包括：图像获取模块、评估指标获取模块以及联合判断模块；

所述图像获取模块用于获取人脸图像；

所述评估指标获取模块用于分别对所述人脸图像进行预处理、对所述人脸图像的人脸姿态进行估计以及判断所述人脸图像中人脸的属性种类；

所述联合判断模块用于根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果对人脸图像的质量进行联合评估。

本申请第三方面提供一种人脸图像质量评估设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的人脸图像质量评估的方法的步骤。

本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例中，提供了一种人脸图像质量评估方法，包括获取人脸图像；对所述人脸图像进行预处理、对所述人脸图像的人脸姿态进行估计并判断所述人脸图像中人脸的属性种类，根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果对人脸图像的质量进行联合评估。

本申请通过3个评价指标结果进行联合判断使得人脸图像质量评估准确率较高，并且本申请可以根据场景需要，选择必要的评价指标对人脸质量进行评价，能够更加全面有效的评估图像质量，适用性较强。

附图说明

图1为本申请一种人脸图像质量评估方法的一个实施例的方法流程图；

图2为本申请一种人脸图像质量评估系统的一个实施例的系统结构图；

图3为本申请一种人脸图像质量评估方法的一个实施例中对人脸姿态进行评估所采用的CNN模型流程图。

具体实施方式

本申请通过3个评价指标结果进行联合判断使得人脸图像质量评估准确率较高，并且本申请可以根据场景需要，选择必要的评价指标对人脸质量进行评价，能够更加全面有效的评估图像质量，适用性较强。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，图1为本申请一种人脸图像质量评估方法的一个实施例的方法流程图，如图1所示，图1中包括：

101、获取人脸图像。

102、对人脸图像进行预处理；对人脸图像的人脸姿态进行估计；判断人脸图像中人脸的属性种类。

需要说明的是，可以针对人脸图像的多个指标进行判断，可以包括对人脸图像进行预处理得到包括人脸的清晰度、亮度、人脸正序指标、噪声度以及拉伸度等等指标；还可以包括对人脸的姿态进行估计，包括对人脸图像的多个方向进行估计；还可以包括判断人脸图像的属性种类，其中人脸属性包括有表情、性别、年龄、种族、张闭嘴、墨镜、帽子、口罩、遮挡和睁闭眼等属性。

103、根据预处理的结果、人脸姿态的检测结果以及人脸的属性种类的结果对人脸图像的质量进行联合评估。

需要说明的是，本申请可以根据场景的需要，可自行选择所需的特征指标进行联合评估，例如可以单独的通过预处理的结果、人脸姿态的检测结果以及人脸的属性种类的结果中的任一指标进行评估，也可以通过以上三种结果中任两项指标进行评估，当然也可以对三个结果进行加权求和得到最终判断结果。

本申请一种人脸图像质量评估方法的实施例通过3个评价指标结果进行联合判断使得人脸图像质量评估准确率较高，并且本申请可以根据场景需要，选择必要的评价指标对人脸质量进行评价，能够更加全面有效的评估图像质量，适用性较强。

另外，本申请还提供了一种人脸图像质量评估方法的另外一个实施例，包括：

201、获取人脸图像。

202、对人脸图像进行预处理，得到包括图像的清晰度、亮度、人脸正序指标、噪声度以及拉伸度。

需要说明的是，其中的清晰度是通过人脸图像x,y方向一阶导数的乘积累加和计算得到，公式计算方法为：

I(x,y)＝(g(x,y)-g(x+1,y))·(g(x,y)-g(x,y+1))

其中C代表清晰度,g(x,y)是图像I的像素位置(x,y)的灰度值，x,y代表水平与垂直方向，I(x,y)是(x,y)与(x+1,y)灰度差和(x,y)与(x,y+1)灰度差的乘积，这样C值越大，图像越清晰。

亮度计算方法为：将图像的RGB通道转换成HSV通道，再利用HSV通道中的V分量进行判断。具体判断过程为，首先按8*8个像素(称谓：block)遍历整个图像，计算每个block的平均V分量的值，如果平均V分量的值满足预设的条件，统计满足预设条件的block的数量记为B，block总数为C，所有block的V分量平均值的和为sum_v，则可以得到局部亮度值计算公式为：

val＝B/C；

那么人脸图像的全局亮度为：

Int＝sum_v/C；

其中，局部亮度描述人脸图像局部亮度高或低，即存在明暗亮度对比现象。全局亮度描述人脸图像整体亮度高或低。

人脸正序指标是由于图像因拍摄或上传原因，导致人脸旋转正或负90度或180度，从而造成人脸倒立现象。其判断方法为：将人脸样本分为正样本和负样本，其中正序人脸样本作为正样本，而其它人脸旋转正或负90度或180度的样本作为负样本，用mtcnn(Multi-task convolutional neural network，多任务卷积神经网络)或faceboxes算法(来自于文献：A CPU Real-time Face Detector with High Accuracy，一种使用CPU的高准确度实时面部检测器)训练，得到一个人脸正序检测模型或网络，来预测输入人脸是否正序，若是正序的，则人脸图像质量合格，否则不合格。

噪声度是将图像经过Sobel边缘检测后，使用拉普拉斯卷积求和，再求平均得到噪声的标准差，即噪声度就是标准差。

拉伸度是根据人脸5个关键点(双眼中心点，鼻尖点，2个嘴角点)，坐标，计算人脸长度或宽度与双眼中心点之间距离的比率，其具体的计算方法为：这5个点坐标其中有2个点分别是左眼和右眼的中心点坐标，这样可以求两眼距离dist，人脸长度和宽度是通过人脸检测算法得到，分别用字母W和H代表，这样S1＝W/dist，S2＝H/dist，stretch＝Max(S1,S2)，即拉伸度取S1和S2中的最大值。

203、对人脸图像的人脸姿态进行估计，从人脸姿态的三个角度，即yaw方向、roll方向和pitch方向角度对人脸姿态进行判断。

需要说明的是，按pitch,yaw,roll分别使用3个损失函数，对应三个角度，每个损失函数由两个损失函数组成，即分类损失函数(即cross-entropy Loss)与回归损失函数(即MSE Loss)。三个全连接层之后，就输出了预测值，三个全连接层之前共享一个卷积层，如图3所示的对人脸姿态进行评估所采用的CNN模型流程图。

204、判断人脸图像中人脸的属性种类，判断出人脸图像中，人脸包含的属性，例如人脸表情、性别、年龄、种族、张闭嘴、墨镜、帽子、口罩、遮挡和睁闭眼。

需要说明的是，可以采用多任务的CNN训练的方法，采用包含不同类型的人脸属性对训练模型进行训练，得到相应属性的识别模型。将图像输入到训练好的模型中，用于识别出人脸所包含的属性。具体的，识别模型可以输出多个分类，每个分类输出对应的属性，属性包括表情、性别、年龄、种族、张闭嘴、墨镜、帽子、口罩、遮挡和睁闭眼等。

205、根据预处理的结果、人脸姿态的检测结果以及人脸的属性种类的结果对人脸图像的质量进行联合评估。

需要说明的是，可以根据场景的需要，可自行选择所需的特征指标进行联合评估，例如可以单独的通过预处理的结果、人脸姿态的检测结果以及人脸的属性种类的结果中的任一指标进行评估，也可以通过以上三种结果中任两项指标进行评估，当然也可以对三个结果进行加权求和得到最终判断结果。

例如本申请可以只根据清晰度与噪声、清晰度和亮度、性别与曝光度、人脸拉伸度、戴墨镜和遮挡、戴口罩和遮挡、戴帽子和遮挡、大笑和张闭嘴、睁闭眼以及人脸姿态等等任意组合进行判断；也可以根据清晰度、噪声以及人脸姿态进行判断，或者根据清晰度、亮度以及人脸姿态进行判断；还可以分别从三种结果中每种结果中选取需要的指标进行判断，并对每种指标进行加权再相加得到最终的评价得分，例如：

F＝aZ₁+bZ₂+cZ₃

其中F表示最终得分，a，b，c表示加权系数，Z表示是指标数据，例如清晰度、亮度、人脸姿态以及人脸属性。

以上是本申请的方法实施例，本申请还提供了一种人脸图像质量评估系统的实施例，请参阅图2，图2为本申请一种人脸图像质量评估系统的一个实施例的系统结构图，具体包括：图像获取模块301、评估指标获取模块302以及联合判断模块303；

图像获取模块301用于获取人脸图像；

评估指标获取模块302用于分别对人脸图像进行预处理、对人脸图像的人脸姿态进行估计以及判断人脸图像中人脸的属性种类；

联合判断模块303用于根据预处理的结果、人脸姿态的检测结果以及人脸的属性种类的结果对人脸图像的质量进行联合评估。

本申请还提供了一种人脸图像质量评估设备的实施例，其设备包括处理器以及存储器：存储器用于存储程序代码，并将程序代码传输给处理器。

处理器用于根据程序代码中的指令执行本申请一种人脸图像质量评估方法的任意一种实施例。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请中术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块的结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸图像质量评估方法，其特征在于，包括：

获取人脸图像；

对所述人脸图像进行预处理；

对所述人脸图像的人脸姿态进行估计；

判断所述人脸图像中人脸的属性种类；

根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果对所述人脸图像的质量进行联合评估。

2.根据权利要求1所述的人脸图像质量评估方法，其特征在于，所述对人脸图像进行预处理具体为：

计算得到人脸图像的清晰度、亮度、人脸正序指标、噪声度以及拉伸度。

3.根据权利要求1所述的人脸图像质量评估方法，其特征在于，所述对人脸姿态进行估计具体为：

从人脸姿态的多个方向角度对人脸姿态进行估计。

4.根据权利要求1所述的人脸图像质量评估方法，其特征在于，所述人脸的属性种类包括为：

人脸表情、性别、年龄、种族、张闭嘴、墨镜、帽子、口罩、遮挡和睁闭眼。

5.根据权利要求1所述的人脸图像质量评估方法，其特征在于，所述根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果对所述人脸图像的质量进行联合评估具体为：

根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果中的任一结果对所述人脸图像质量进行评估。

6.根据权利要求1所述的人脸图像质量评估方法，其特征在于，所述根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果对所述人脸图像的质量进行联合评估具体为：

根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果中的任意两项结果对所述人脸图像质量进行联合评估。

7.根据权利要求1所述的人脸图像质量评估方法，其特征在于，所述根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果对人脸图像的质量进行联合评估具体为：

根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果中三项结果对人脸图像质量进行联合评估。

8.一种人脸图像质量评估系统，其特征在于，包括图像获取模块、评估指标获取模块以及联合判断模块；

所述图像获取模块用于获取人脸图像；

所述评估指标获取模块用于分别对所述人脸图像进行预处理、对所述人脸图像的人脸姿态进行估计以及判断所述人脸图像中人脸的属性种类；

所述联合判断模块用于根据所述预处理的结果、所述人脸姿态的检测结果以及所述人脸的属性种类的结果对所述人脸图像的质量进行联合评估。

9.一种人脸图像质量评估设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的人脸图像质量评估方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的人脸图像质量评估方法。

Images