CN111199165B - 图像处理方法及装置 - Google Patents

Abstract

本申请公开了一种图像处理方法及装置。所述方法包括：从多幅视频帧图像获取目标人脸的多幅人脸图像；针对每幅所述人脸图像采用多项评分机制分别进行评分，获得该人脸图像的各项子评分，其中，所述评分机制至少包括倾斜程度评分、尺寸评分以及位置评分中的一项；针对每幅人脸图像，根据该人脸图像的各项所述子评分获得该人脸图像的综合评分；根据所述综合评分筛选出至少一幅所述人脸图像。本申请方案能够筛选出适于进行人脸识别等的高质量的人脸图像。

Description

图像处理方法及装置

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法及装置。

背景技术

人脸检测技术在如今智能信息时代扮演着不可或缺的条件。这项技术的实现与采集的图像的质量紧密相关，一张目标图像完整、位置准确且清晰度高的人脸图像能够使目标检测准确度大大提高。因此，现有技术中，也发展出了多种用于筛选图像的技术。

例如，其中一种方法是根据人眼的位置以及人脸的偏转程度来进行图像筛选，使用这种方法所采集的图像会使得图像采集的误差大的问题。另一种方法是多个前端图像采集设备，对检测对象进行多个角度的抓拍以获得检测对象的准正面图像，使用这种方法会存在采集的图像的中人脸的尺寸或者清晰度不满足要求的情况，以及人脸位于图像边界时不能有效处理的问题。

发明内容

为了克服现有技术中的至少一个上述不足，本申请的目的在于提供一种图像处理方法，所述方法包括：

从多幅视频帧图像获取目标人脸的多幅人脸图像；

针对每幅所述人脸图像采用多项评分机制分别进行评分，获得该人脸图像的各项子评分，其中，所述评分机制至少包括倾斜程度评分、尺寸评分以及位置评分中的一项；

针对每幅人脸图像，根据该人脸图像的各项所述子评分获得该人脸图像的综合评分；

根据每幅所述人脸图像的所述综合评分筛选出至少一幅所述人脸图像；

其中，所述倾斜程度评分用于表征所述目标人脸的倾斜程度，所述倾斜程度评分的计算步骤包括：

针对每幅所述人脸图像获取所述目标人脸的多个面部特征关键点；

根据该人脸图像的多个所述面部特征关键点获得所述倾斜程度评分；

所述尺寸评分用于表征该人脸图像上所述目标人脸与所有所述人脸图像上的所述目标人脸的相对大小，所述尺寸评分的计算步骤包括，

根据所述目标人脸在该人脸图像上的尺寸获得斯拍摄及尺寸评分；

所述位置评分用于表征在该视频帧图像上所述目标人脸与该视频帧图像中心的距离，所述位置评分的计算步骤包括，

根据所述目标人脸在该脸图像对应的所述视频帧图像上的位置获得位置评分。

可选地，将视频帧图像上与视频帧图像的上下边界平行的方向作为x轴方向，将视频帧图像上与视频帧图像的左右边界平行的方向作为y轴方向，所述根据所述目标人脸在该人脸图像对应的所述视频帧图像上的位置获得所述位置评分的步骤包括：

计算该人脸图像上所述目标人脸在x轴方向的第一位置评分；

计算该人脸图像上所述目标人脸在y轴方向的第二位置评分；

根据所述第一位置评分以及所述第二位置评分计算所述位置评分。

可选地，所述计算该人脸图像上所述目标人脸在x轴方向的第一位置评分的步骤包括：

计算该人脸图像对应的所述视频帧图像上所述目标人脸与该视频帧图像的左边界的第一距离；

如果所述第一距离小于第一阈值，则根据第一预设规则计算所述目标人脸的第一位置评分；

如果所述第一距离大于第二阈值，则根据第二预设规则计算所述目标人脸的第一位置评分；

如果所述第一距离在第一阈值与第二阈值之间，则根据第三预设规则计算所述目标人脸的第一位置评分。

可选地，所述计算该人脸图像上所述目标人脸在y轴方向的第二位置评分的步骤包括：

计算该人脸图像对应的视频帧图像上所述目标人脸与该视频帧图像的上边界的第二距离；

如果所述第二距离小于第三阈值，则根据第四预设规则计算所述目标人脸的第二位置评分；

如果所述第二距离大于第四值，则根据第五预设规则计算所述目标人脸的第二位置评分；

如果所述第二距离在第三阈值与第四阈值之间，则根据第六预设规则计算所述目标人脸的第二位置评分。

可选地，所述针对每幅所述人脸图像获取所述目标人脸的多个面部特征关键点的步骤包括：

分别将每幅所述人脸图像输入预先训练好的关键点检测模型，获得该人脸图像的所述面部特征关键点。

可选地，所述根据该人脸图像的多个所述面部特征关键点获得所述倾斜程度评分的步骤包括：

根据多个所述面部特征关键点计算所述目标人脸在左右方向偏转的第一偏转程度；

根据多个所述面部特征关键点计算所述目标人脸在俯仰方向偏转的第二偏转程度；

根据多个所述面部特征关键点计算所述目标人脸在左右方向转动的转动程度；

根据所述第一偏转程度、所述第二偏转程度以及所述转动程度计算所述倾斜程度评分。

可选地，在所述根据所述目标人脸在该人脸图像上的尺寸获得所述尺寸评分的步骤前，所述方法还包括，

针对每幅所述人脸图像获取所述目标人脸的人脸检测框；

所述根据所述目标人脸在该人脸图像上的尺寸获得所述尺寸评分的步骤包括：

根据所述目标人脸在所有所述人脸图像中的人脸检测框的尺寸计算所述目标人脸的平均尺寸；

根据所述平均尺寸计算所述目标人脸在该人脸图像上的所述尺寸评分。

可选地，所述从多幅视频帧图像获取目标人脸的多幅人脸图像前，所述方法还包括，

针对每幅视频帧图像检测所述目标人脸，获得多幅包括所述目标人脸的所述人脸图像。

可选地，所述评分机制还包括用于表征所述目标人脸是人脸的可能性的置信度评分，所述方法还包括，

获取所述置信度评分；

所述针对每幅人脸图像，根据该人脸图像的各项所述子评分获得该人脸图像的综合评分的步骤包括，

根据该人脸图像的所述置信度评分、所述倾斜程度评分、所述尺寸评分以及所述位置评分获得该人脸图像的综合评分。

本申请的另一目的在于提供一种图像处理装置，所述装置包括：

获取模块，用于从多幅视频帧图像获取目标人脸的多幅人脸图像；

第一评分模块，用于针对每幅所述人脸图像采用多项评分机制分别进行评分，获得该人脸图像的各项子评分，其中，所述评分机制至少包括倾斜程度评分、尺寸评分以及位置评分中的一项；

第二评分模块，用于针对每幅人脸图像，根据该人脸图像的各项所述子评分获得该人脸图像的综合评分；

筛选模块，用于根据每幅所述人脸图像的所述综合评分筛选出至少一幅所述人脸图像；

其中，所述倾斜程度评分用于表征所述目标人脸的倾斜程度，所述倾斜程度评分的计算步骤包括：

针对每幅所述人脸图像获取所述目标人脸的多个面部特征关键点；

根据该人脸图像的多个所述面部特征关键点获得所述倾斜程度评分；

所述尺寸评分用于表征该人脸图像上所述目标人脸与所有所述人脸图像上的所述目标人脸的相对大小，所述尺寸评分的计算步骤包括，

根据所述目标人脸在该人脸图像上的尺寸获得尺寸评分；

所述位置评分用于表征在该视频帧图像上所述目标人脸与该视频帧图像中心的距离，所述位置评分的计算步骤包括，

根据所述目标人脸在该人脸图像对应的所述视频帧图像上的位置获得位置评分。

相对于现有技术而言，本申请实施例具有以下有益效果：

本申请实施例根据多个面部特征关键点获得该人脸图像上目标人脸的倾斜程度评分，根据在所有所述人脸图像上的所述目标人脸的尺寸获得尺寸评分，根据所述目标人脸在所述视频帧图像上的位置获得位置评分，通过对人脸图像采用多个至少包括倾斜程度评分、尺寸评分以及位置评分中的一项的评分机制来对同一个人脸图像进行综合评分，进而获得该人脸图像的综合评分，最终根据所述综合评分筛选出至少一幅所述人脸图像。本申请实施例所述方案能够对位于视频帧图像边界的目标人脸的人脸图像进行很好的处理，从而能够保证所筛选出的人脸图像的质量。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的图像处理设备的结构框图；

图2为本申请实施例提供的图像处理方法的流程示意图；

图3为本申请实施例提供的面部特征关键点的提取结果示意图；

图4为本申请实施例提供的计算倾斜程度评分的流程示意图；

图5为本申请实施例提供的目标人脸在左右方向偏转的示意图；

图6为本申请实施例提供的目标人脸在俯仰方向偏转的示意图；

图7为本申请实施例提供的目标人脸在左右方向转动的示意图；

图8为本申请实施例提供的计算位置评分的流程示意图；

图9为本申请实施例提供的人脸检测框拓边处理示意图；

图10为本申请实施例提供的第一位置评分与x坐标的关系图；

图11为本申请实施例提供的第二位置评分与y坐标的关系图；

图12为本申请实施例提供的图像处理装置的结构框图。

图标：100-图像处理设备；110-处理器；120-存储器；130-图像采集设备；200-图像处理装置；211-获取模块；212-第一评分模块；213-第二评分模块；214-筛选模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系可以基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求所描述的对象绝对水平或悬垂，而是可以稍微偏转。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微偏转。

对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

请参照图1，图1所示为本申请实施例提供的一种图像处理设备100的结构示意框图，本实施例所提供的图像处理设备100可以应用于解决至少一个上述问题。所述图像处理设备100包括处理器110和存储器120，所述处理器110与存储器120电连接，用于实现数据交互。

在本实施例的图像处理设备100中，所述存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。其中，存储器120用于存储可执行指令，所述处理器110在接收到可执行指令后，执行该指令。

本实施例中图像处理设备100还可以包括图像采集设备130，所述图像采集设备130分别与处理器110以及存储器120电连接，以同所述处理器110进行数据交互以及同所述存储器120进行数据交互。其中，图像采集设备130可以是相机、摄像头，例如抓拍摄像头等。

请参照图2，图2是本申请实施例提供的图像处理方法的流程示意图。

所述图像处理方法包括：

步骤S110，从多幅视频帧图像获取目标人脸的多幅人脸图像。

视频帧图像是指对图像采集设备130的图像采集范围采集的图像。其中，每幅人脸图像均从与其对应的视频帧图像中获取，也就是说，人脸图像是其对应的视频帧图像的一部分。人脸图像对应的视频帧图像即获得该人脸图像的视频帧图像。其中，每幅人脸图像与视频帧图像一一对应。

在本实施例中，目标人脸可以是某一连续时间段内，出现在某一图像采集范围内的同一目标的面部图像。人脸图像可以是已经检测出且包括了目标人脸的图像。例如，在一个人开始出现在图像采集设备130的图像采集区域中时，以该人的人脸作为目标人脸，通过图像采集设备130对目标人脸进行抓拍、跟踪，直至其离开该图像采集区域之间的时间段，以获得针对这个人的多幅人脸图像，即多幅包括目标人脸的人脸图像。

可选地，在获得人脸图像之前，例如，图像采集设备130最开始采集到图像时，所述方法还包括，针对每幅视频帧图像检测目标人脸，获得多幅包括目标人脸的人脸图像。

具体地，在检测目标人脸时，可以将视频帧图像通过预先训练好的人脸检测模型进行检测。

例如，可以将待检测图像输入利用R-FCN网络训练模型训练的人脸检测模型中。其中，人脸检测模型的训练步骤为：将带有人脸标签的图像作为训练样本，将训练样本输入R-FCN网络训练模型，得到人脸检测模型。

如此，可以使得用于后续处理的人脸图像都是已经检测出目标人脸的人脸图像。其中，人脸图像是视频帧图像的一部分。

本实施例中，在进行目标人脸检测时，还可以同时获取目标人脸在视频帧图像上的检测框(即人脸检测框)以及该检测框在视频帧图像上的位置。

步骤S120，针对每幅所述人脸图像采用多项评分机制分别进行评分，获得该人脸图像的各项子评分，其中，所述评分机制至少包括倾斜程度评分、尺寸评分以及位置评分中的一项。

由于所检测出的目标人脸可能会存在误差，故本实施例中，各项评分机制中，还可以包括置信度评分，该置信度评分用于表征所检测出的目标人脸是人脸的可能性。当所检测到的目标人脸越接近真正的人脸时，可以对该人脸赋予较高的评分，也就是说，置信度评分的值越大，表示目标人脸越接近真正的人脸。其中，人脸置信度评分可以用Q₁来表示。本实施例中，在获得人脸置信度评分的同时，还可以获得人脸检测框的宽度w₀以及高度h₀。

当然，获得人脸检测框的宽度w₀以及高度h₀的步骤也可以在获得人脸检测框后的其他时间段进行。

步骤S120可以包括人脸倾斜程度评分的计算步骤、尺寸评分的计算步骤以及位置评分的计算步骤。人脸倾斜程度评分的计算步骤、尺寸评分的计算步骤以及位置评分的计算步骤也可以在步骤S120之前进行。

其中，计算人脸倾斜程度评分包括：

针对每幅所述人脸图像获取所述目标人脸的多个面部特征关键点。

本实施例可以获得用于判断每幅人脸图像中的目标人脸是否倾斜的面部特征关键点。

请参照图3，面部特征关键点可以是根据包括目标人脸的两个眼睛、眉毛、鼻子、嘴巴等面部特征所提取而得的一些点。例如，所确定的面部特征关键点可以包括每个眼睛的眼睛中心点(分别为左眼中心点El，右眼中心点Er)、位于鼻尖处的鼻尖点O、位于嘴角处的两个嘴角点(分别为左嘴角点Tl，右嘴角点Tr)等。其中，眼睛中心点可以是根据人脸图像上的眼球确定的点。

可选地，分别将每幅所述人脸图像输入预先训练好的关键点检测模型，获得该人脸图像的面部特征关键点。例如，可以先对人脸检测框进行标准化处理，即以人脸检测框的高度和宽度中较大者为新的边长，以人脸检测框的中心点为中心，重新获得新的边长对应的正方形的人脸检测框，也就是说，标准化处理后的人脸检测框的中心与标准化处理前的人脸检测框的中心相同。关键点检测模型的训练过程可以为：将多幅人脸检测框已经经过标准化处理且已经标记好多个面部特征关键点的人脸图像作为训练样本输入深度学习模型，获得关键点检测模型。其中，关键点检测模型可以是CNN定点模型。

当摄像头能够采集到目标人脸的准正面图像，即人脸正对摄像头时摄像头采集的图像时，目标人脸中的多个面部特征关键点之间应该是关于目标人脸竖直方向的中心线大致对称分布。当人脸存在俯仰偏转、左右偏转或者左右转动的动作时，人脸图像上各面部特征关键点之间的距离的相对关系就会发生变化。因此，可以根据面部特征关键点来判断目标人脸的倾斜程度。

获得目标人脸对应该人脸图像的倾斜程度评分。

在本实施例中，可以根据该人脸图像的多个所述面部特征关键点获得用于表征所述目标人脸的倾斜程度的倾斜程度评分。

例如，可以根据各个面部特征关键点来判断目标人脸在三维空间的倾斜情况，从而获得目标人脸在三维空间的倾斜程度评分。

考虑到目标人脸在左右方向偏转、俯仰方向偏转或者左右方向转动时，目标人脸上的多个关键点中均会存在一部分的相对位置会发生变化，故本实施例中，可以根据多个面部特征关键点分别计算目标人脸左右方向偏转的角度(第一偏转程度)、俯仰方向偏转的角度(即第二偏转程度)、或者左右方向转动的角度(即转动程度)。

请参照图4，本实施例中，获得目标人脸对应该人脸图像的倾斜程度评分的步骤可以包括子步骤S211-步骤S214。

子步骤S211，根据多个所述面部特征关键点计算所述目标人脸在左右方向偏转的第一偏转程度。

子步骤S212，根据多个所述面部特征关键点计算所述目标人脸在俯仰方向偏转的第二偏转程度。

子步骤S213，根据多个所述面部特征关键点计算所述目标人脸在左右方向转动的转动程度。

子步骤S214，根据所述第一偏转程度、所述第二偏转程度以及所述转动程度计算所述倾斜程度评分。

其中，左右方向、俯仰方向是目标人脸的准正面而言的人脸的左右方向、或者俯仰方向。

偏转是目标的头部以其颈部处于水平面平行的轴为中心的向顺时针或者逆时针方向运动。

转动是指目标的头部以竖直方向的轴为转动轴向顺时针或者逆时针运动。

例如，当目标在水平面上以立正姿势面向图像采集设备130站立，使图像采集设备130能采集到目标人脸的准正面图像时，此时，在目标头部选取两个点D1、D2，使得该两点所构成的连线与水平方向垂直。目标人脸在左右方向偏转是指目标的头部以颈部的转轴向头部左侧或者右侧旋转，此时D1与D2构成的直线与竖直方向形成夹角。目标人脸在俯仰方向偏转是指目标的头部以颈部的另一转轴向头部左侧或者右侧旋转，此时D1与D2构成的直线与竖直方向形成夹角。目标人脸在左右方向转动是指目标的头部在保持D1与D2的连线的角度不变的情况下，头部上的各个点在D1与D2的连线的垂直面上做顺时针或者逆时针的旋转运动。

具体地，在计算时，可以采用每个眼睛的眼睛中心点(分别为左眼中心点El，右眼中心点Er)、位于鼻尖处的鼻尖点O、位于嘴角处的两个嘴角点(El分别为左嘴角点Tl，右嘴角点Tr)共5个面部特征关键点进行计算。

例如，请参照图5，目标人脸在左右方向偏转的程度，即第一偏转程度计算，当目标人脸在左右方向没有偏转时，两个眼睛中心点(左眼中心点El，右眼中心点Er)的连线与水平线的夹角应该几乎不存在，两个嘴角点(左嘴角点Tl，右嘴角点Tr)的连线与水平线之间的夹角几乎不存在，当人脸在左右方向偏转时，人脸上的两个眼睛中心点的连线会与水平线之间形成夹角α1，目标人脸的两个嘴角点之间的连线也会与水平线之间形成夹角α2。此时，可以根据α1以及α2计算第一偏转程度q_2,1，人脸在左右方向偏转越少，q_2,1越大，人脸在左右方向偏转越多，q_2,1越大。其中，第一偏转程度的计算公式为：

q_2,1＝cosα1·cosα2

其中，第一偏转程度q_2,1的取值范围[0，1]。可知，当目标人脸在左右方向没有偏转时，第一偏转程度为1。

请参照图6，目标人脸在俯仰方向偏转的程度，即第二偏转程度计算。先获取两个眼睛中心点连线L1的中点M1以及两个嘴角点连线L2的中点M2，分别过中点M1、中点M2作水平线，计算鼻尖点O到两条水平线的垂线距离分别为OB1，OB2，其中点B1、B2分别为垂足。由于鼻尖点和另外四个点不在一个水平面上，当人仰头或低头时，鼻尖点到L1以及L2两条平行线的垂线段长度(即OB1，OB2)之比会发生变化。根据demo多人脸试验发现，当人脸非常端正，也就是目标人脸在俯仰方向没有偏转时，OB1:OB2将趋近一个固定的比值q_a(实施例1.2:1)，当然，对于不同的人，鼻尖高度不同，此比值也会不同。当人仰头时，OB1:OB 2会逐渐降低。当人低头时OB1:OB 2会随之增大。当人脸在此方向上越端正(偏转程度越小)，则比值OB1:OB2越接近q_a。从而可以根据OB1:OB 2来计算人脸在俯仰方向的偏转程度，也就是第二偏转程度q_2,2。q_2,2具体计算公式为：

q_2,2的取值范围为区间[0，1]，且人脸此方向上越端正，q_2,2越接近于1。本方案不需计算具体目标人脸的俯仰角，只需衡量目标人脸在此方向上的偏转程度，也就是第二偏转程度q_2,2即可。

请参照图7，目标人脸在左右方向转动的转动程度计算。利用上述用于计算的5个点，以鼻尖点O为基准点，先获取两眼中心点连线的中点M1以及两嘴角点连线的中点M2，计算与/>的夹角α3。由于所取的5个面部特征关键点不在同一平面，且鼻尖点相较于其它4个已选的面部特征关键点是向外突出的。当人脸非常端正，即在水平方向上及竖直方向均无偏转时，/>与/>的夹角为临界值180°。当人脸在水平方向上有偏转时，/>与的夹角将随之减小。当人脸在向左(或向右)转动到90°时，根据demo试验数据发现，与/>的夹角逐渐减小，逐渐趋近一个固定值α_L(例如，固定值α_L可以采用120°)，当然不同的人鼻尖的高度不同，此临界值也会不同。故α3的余弦值越大即可判断目标人脸在此方向的转动角度越小，转动程度q_2,3值越接近于1，其中q_2,3的计算如公式为：

q_2,3＝cosα3

本实施例无需计算具体的转动角度，只需衡量目标人脸在左右方向上的转动程度q_2,3即可。

当计算完第一偏转程度、第二偏转程度以及转动程度后，便可以计算目标人脸的倾斜程度评分。给第一偏转程度、第二偏转程度以及转动程度分别设置对应的权重a、b、c，其中，a、b、c可以均属于区间[0，1]，a、b、c之和为1。倾斜程度评分计算公式为：

Q2＝a·q_2,1+b·q_2,2+c·q_2,3

其中，Q2代表倾斜程度评分。可见，Q2越大，人脸总的倾斜程度评分越高。

本实施例可以包括对尺寸评分的计算步骤，本实施例用于根据所述目标人脸在该人脸图像上的尺寸获得尺寸评分，所述尺寸评分用于表征该人脸图像上所述目标人脸与所有所述人脸图像上的所述目标人脸的相对大小。

本实施例中，目标人脸在该人脸图像上的尺寸可以是该人脸图像对应的视频帧图像上目标人脸的尺寸。

例如，可以将目标人脸在该人脸图像对应的视频帧图像上的人脸检测框的尺寸作为目标人脸在该人脸图像上的尺寸。

所述根据所述目标人脸在该人脸图像上的尺寸获得尺寸评分的步骤包括：

根据目标人脸在所有所述人脸图像中的人脸检测框的尺寸计算所述目标人脸的平均尺寸。

根据所述平均尺寸计算所述目标人脸在该人脸图像上的所述尺寸评分。本实施例中，当计算尺寸评分时，如果没有获取人脸检测框，则可以先获取人脸检测框，并获取人脸检测框的宽度w₀和高度h₀。人脸检测框的尺寸可以是指人脸检测框的边长或者面积，对应的，所述平均尺寸是目标人脸在各幅人脸图像上的人脸检测框的平均边长或者平均面积。例如，当计算出各幅人脸图像上的目标人脸的所有人脸检测框的平均面积为S_aver时，即人脸检测框的平均尺寸为S_aver，则具体人脸尺寸评分Q₃公式为：

其中S_i表示某单个人的人脸图像序列中的任意一张人脸图像的人脸检测框的尺寸(如果平均尺寸采用的是面积，则此处应采用该人脸图像对应的人脸检测框的面积。如果平均尺寸采用的是边长，则此处应采用该人脸图像对应的人脸检测框的相应的边长)。可见，当某个人脸图像对应的目标人脸的尺寸约接近平均尺寸，其尺寸评分越高。

本实施例可以包括对位置评分的计算步骤，本实施例用于根据所述目标人脸在该人脸图像对应的视频帧图像上的位置获得位置评分，所述位置评分用于表征在该视频帧图像上所述目标人脸与该视频帧图像中心的距离。

当人脸抓拍机应用到实际场景中并调试运行之后，最佳焦距的调节基本都是集中在画面中间区域，那么最远处以及最近处的图像相对来说就会有不同程度的模糊现象。而后端的应用模块在获得人脸抓拍机上报的人脸图像之后，其使用效果除了受到人脸图像清晰度影响外，还会在很大程度上受到目标人脸的残缺性的影响。尤其是根据人脸识别人脸属性等应用，受到人脸的残缺性的影响十分显著。

本实施例中根据用于表征目标人脸在视频帧图像上的位置距离该视频帧图像中心的距离计算位置评分，能够直观表现出目标人脸与视频帧图像中心点之间的距离关系。

例如，可以对检测到的目标人脸进行基于位置评分的策略，使得目标人脸越接近视频帧图像中间位置的位置评分越高，越靠近视频帧图像边界，其位置评分越低。同时，为了尽可能抑制视频帧图像边界部分残缺人脸的上报，可以使视频帧图像边界残缺的人脸检测框的位置评分显著低于略靠近中间区域的非残缺人检测脸框的评分。

请参照图8，可选地，考虑到一般情况下，图像采集设备130所采集都是矩形区域的图片，故本实施例中将视频帧图像上与视频帧图像的上下边界平行的方向作为x轴方向，将视频帧图像上与视频帧图像的左右边界平行的方向作为y轴方向，位置评分的计算步骤包括子步骤S311-步骤S313：

子步骤S311，计算该人脸图像上所述目标人脸在x轴方向的第一位置评分。

子步骤S312，计算该人脸图像上所述目标人脸在y轴方向的第二位置评分。

子步骤S313，根据所述第一位置评分以及所述第二位置评分计算所述位置评分。

可选地，所述计算该人脸图像上所述目标人脸在x轴方向的第一位置评分的步骤包括：

计算该人脸图像对应的所述视频帧图像上所述目标人脸与该视频帧图像的左边界的第一距离。

如果所述第一距离小于第一阈值，则根据第一预设规则计算所述目标人脸的第一位置评分。

如果所述第一距离大于第二阈值，则根据第二预设规则计算所述目标人脸的第一位置评分。

如果所述第一距离在第一阈值与第二阈值之间，则根据第三预设规则计算所述目标人脸的第一位置评分。

可选地，所述计算该人脸图像上所述目标人脸在y轴方向的第二位置评分的步骤包括：

计算该人脸图像对应的视频帧图像上所述目标人脸与该视频帧图像的上边界的第二距离。

如果所述第二距离小于第三阈值，则根据第四预设规则计算所述目标人脸的第二位置评分。

如果所述第二距离大于第四阈值，则根据第五预设规则计算所述目标人脸的第二位置评分。

如果所述第二距离在第三阈值与第四阈值之间，则根据第六预设规则计算所述目标人脸的第二位置评分。

以下结合具体例子来说明位置评分的计算步骤：

在获得人脸检测框以及人脸检测框的宽度w₀、人脸检测框的高度h₀后根据人脸检测框的位置、人脸检测框宽度w₀、人脸检测框的高度h₀来进行上述计算。

请参照图9，建立坐标系：将视频帧图像的左下角作为原点，将视频帧图像上与视频帧图像的上下边界平行的方向作为x轴方向，将视频帧图像上与视频帧图像的左右边界平行的方向作为y轴方向，建立坐标系。

对人脸检测框进行拓边处理，人脸检测框中心点坐标为(x_cen,y_cen)，使人脸检测框左边界向左侧水平(x轴负半轴)延伸距离w₀，使人脸检测框的右边界向右侧水平(x轴正半轴)延伸距离w₀。使人脸检测框下边界向下侧垂直(y轴负半轴)延伸距离h₀，使人脸检测框的上边界向上侧垂直(y轴正半轴)延伸距离h₀。

为了使人脸检测框靠近边界时其评分显著降低，本方案在人脸检测框接近左右两个边界时评分值与视频帧图像中心点距离关系计算采用线性下降方式，而人脸检测框没达到边界时，采用较为平滑的抛物线方式。首先求得人脸检测框靠近左右边界的临界值w_min，然后根据所述临界值w_min计算出整个视频帧图像宽度范围内第一位置评分的解析式。在x方向上的评分值与中心点x坐标总的关系图如图10所示。

w_min的计算公式为：

w_min＝k_mw₀

第一位置评分的计算公式为：

其中系数k_m根据人脸检测框的拓宽距离计算，例如，当人脸检测框在x轴的单侧的延伸距离为w₀时，k_m可以取1.5。w_pic表示人脸图像的宽度，q_x表示目标人脸在x轴方向的位置评分，即第一位置评分。k_x,1、k_x,2、k_x,3、k_x,4、k_x,5以及k_x,6均可以，但不限于根据人脸图像的大小以及人脸图像的分辨率等来确定。

y方向上的位置评分计算策略与x方向基本相同，只是考虑到相机画面中从清晰度和尺寸两方面主要与y方向关系较大，故关系图中相关曲线的斜度可以更大一些。具体的示意图如图11所示，h_min的具体计算公式为：

h_min＝k_nh₀

第二位置评分的计算步骤为：

其中系数k_n根据人脸检测框在y轴方向的拓宽距离计算，当人脸检测框在y轴的单侧的延伸距离为h₀时，k_n取1.5。h_pic表示人脸图像的高度，q_y表示目标人脸在y轴方向的位置评分，即第二位置评分。k_y,1、k_y,2、k_y,3、k_y,4、k_y,5以及k_y,6均可以，但不限于，根据人脸图像的大小以及人脸图像的分辨率等来确定。

当获得第一位置评分和第二位置评分后，便可以根据第一位置评分和第二位置评分计算位置评分。具体地，在计算位置评分时，可以分别对第一位置评分和第二位置评分赋予一定的权重，进行加权计算，以得到两者之和。

例如，计算出第一位置评分q_x、第二位置评分q_y后，给第一位置评分赋予权重l₁，给第二位置评分赋予权重l₂，则目标人脸的位置评分计算公式如下：

Q₄＝l₁q_x+l₂q_y

其中，Q₄的取值在区间[0，1]内，且其值越大，说明人脸检测框位置越佳，越趋近于视频帧图像的中间位置。

本实施例中进行拓边处理的人脸检测框可以是宽度和高度进行标准化处理后的人脸检测框。

本实施例中，根据人脸检测框的位置来计算位置评分，并对靠近视频帧图像边界的目标人脸赋予更低的位置评分。

步骤S130，针对每幅人脸图像，根据该人脸图像的各项所述子评分获得该人脸图像的综合评分。

本实施例用于根据一幅人脸图像的各项所述子评分获得该人脸图像的综合评分，例如，所述倾斜程度评分、所述尺寸评分以及所述位置评分获得该人脸图像的综合评分从而获得用于对人脸图像整体进行判断的指标。

本实施例中，当所述评分机制包含置信度评分，也就是所述方法包括获取置信度评分的步骤时，所述获得该人脸图像的综合评分的步骤还可以是，根据所述置信度评分、倾斜程度评分、所述尺寸评分以及所述位置评分获得该人脸图像的综合评分。

例如，当用于对人脸图像进行评分的评分指标总共包括四项，其中一项包括置信度评分Q₁，一项包括倾斜程度评分Q₂，一项包括尺寸评分，一项包括位置评分Q₄时，当计算得到置信度评分Q₁、倾斜程度评分Q₂、尺寸评分Q₃以及位置评分Q₄等指标后，将各指标加权求和或者相乘获得该人脸图像总的倾斜程度评分Q，进而挑选出每个人的人脸图像序列中最佳的一张或者多张人脸图像。

给置信度评分Q₁、倾斜程度评分Q₂、尺寸评分Q₃以及位置评分Q₄分别赋予权重k₁、k₂、k₃、k₄，其中，k₁、k₂、k₃、k₄均属于区间[0，1]内，满足k₁、k₂、k₃、k₄之和等于1。该人脸图像的总评分的计算公式为：

Q＝k₁Q₁+k₂Q₂+k₃Q₃+k₄Q₄

步骤S140，根据每幅所述人脸图像的所述综合评分筛选出至少一幅所述人脸图像。本实施例用于根据已经计算出的综合评分筛选出至少一张人脸图像。

本实施例可以将图像质量较好的人脸图像筛选出来。

例如，可以设置预设分数阈值h1，则在上述例子的基础上，可以将总评分大于h1的人脸图像筛选出来。

又如，可以设置预设筛选数量，然后总评分的大小从高到低筛选出预设筛选数量的人脸图像。当人脸图像的总量少于预设筛选数量时，可以将所有的人脸图像均筛选出来。

可选地，本实施例中，所述方法还包括，

分别对每幅筛选出的人脸图像中的目标人脸进行识别，获得该人脸图像的识别结果。

本实施例中，使用筛选出来的人脸图像中的目标人脸进行人脸识别，能够使目标人脸的识别更加准确。

本实施例中，还可以将筛选出的人脸图像上报到相关的硬件或者软件单元。

本申请的另一目的在于提供一种图像处理装置200，所述图像处理装置200包括一个可以软件或固件的形式存储于所述存储器120中或固化在所述图像处理设备100的操作系统(operating system，OS)中的软件功能模块。所述图像处理装置200包括：

获取模块211，用于从多幅视频帧图像获取目标人脸的多幅人脸图像。

本实施例中，获取模块211可用于执行步骤S110，关于获取模块211的具体描述，可参考对所述步骤S110的描述。

第一评分模块212，用于针对每幅所述人脸图像获取所述目标人脸的多个面部特征关键点。

本实施例中，第一评分模块212可用于执行步骤S120，关于第一评分模块212的具体描述，可参考对所述步骤S120的描述。

第二评分模块213，用于针对每幅所述人脸图像采用多项评分机制分别进行评分，获得该人脸图像的各项子评分，其中，所述评分机制至少包括倾斜程度评分、尺寸评分以及位置评分中的一项。

本实施例中，第二评分模块213可用于执行步骤S130，关于第二评分模块213的具体描述，可参考对所述步骤S130的描述。

筛选模块214，用于根据每幅人脸图像的所述综合评分筛选出至少一幅所述人脸图像。

本实施例中，筛选模块214可用于执行步骤S140，关于筛选模块214的具体描述，可参考对所述步骤S140的描述。

综上所述，本申请实施例根据多个面部特征关键点获得该人脸图像上目标人脸的倾斜程度评分，根据在所述人脸图像上的尺寸获得所述目标人脸的尺寸评分，根据所述目标人脸在所述视频帧图像上的位置获得位置评分，通过对人脸图像采用多个至少包括倾斜程度评分、尺寸评分以及位置评分中的一项的评分机制来对同一个人脸图像进行综合评分，进而获得该人脸图像的综合评分，最终根据综合评分筛选所述人脸图像。本申请实施例所述方案能够对位于图像边界的人脸图像进行很好的处理，从而能够使所筛选出的人脸图像的质量符合要求。减小人脸图像不符合要求造成的误差。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器120(ROM，Read-Only Memory)、随机存取存储器120(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：

从多幅视频帧图像获取目标人脸的多幅人脸图像；

针对每幅所述人脸图像采用多项评分机制分别进行评分，获得该人脸图像的各项子评分，其中，所述评分机制至少包括倾斜程度评分、尺寸评分以及位置评分中的一项；

针对每幅人脸图像，根据该人脸图像的各项所述子评分获得该人脸图像的综合评分；

根据每幅所述人脸图像的所述综合评分筛选出至少一幅所述人脸图像；

其中，所述倾斜程度评分用于表征所述目标人脸的倾斜程度，所述倾斜程度评分的计算步骤包括：

针对每幅所述人脸图像获取所述目标人脸的多个面部特征关键点；

根据多个所述面部特征关键点计算所述目标人脸在左右方向偏转的第一偏转程度；

根据多个所述面部特征关键点计算所述目标人脸在俯仰方向偏转的第二偏转程度；

根据多个所述面部特征关键点计算所述目标人脸在左右方向转动的转动程度的计算步骤包括：

以鼻尖点O为基准点，获取两眼中心点连线的中点M1以及两嘴角点连线的中点M2，计算与/>的夹角α3；

当所述目标人脸在水平方向上及竖直方向均无偏转时，所述与所述/>的夹角为临界值180°；

当所述目标人脸在水平方向上有偏转时，所述与所述/>的夹角将随之减小；

当所述目标人脸在向左或向右转动到90°时，所述与所述/>的夹角逐渐减小，逐渐趋近固定值α_L；

其中，所述α3的余弦值越大则所述目标人脸在对应方向的转动角度越小，所述转动程度q_2,3值越接近于1，其中所述q_2,3的计算如公式为：

q_2,3＝cosα3；

根据所述第一偏转程度、所述第二偏转程度以及所述转动程度计算所述倾斜程度评分；

所述尺寸评分用于表征该人脸图像上所述目标人脸与所有所述人脸图像上的所述目标人脸的相对大小，所述尺寸评分的计算步骤包括，

根据所述目标人脸在该人脸图像上的尺寸获得所述尺寸评分；

所述位置评分用于表征在该视频帧图像上所述目标人脸与该视频帧图像中心的距离，所述位置评分的计算步骤包括：

根据所述目标人脸在该人脸图像对应的所述视频帧图像上的位置获得所述位置评分。

2.根据权利要求1所述的图像处理方法，其特征在于，将视频帧图像上与视频帧图像的上下边界平行的方向作为x轴方向，将视频帧图像上与该视频帧图像的左右边界平行的方向作为y轴方向，所述根据所述目标人脸在该人脸图像对应的所述视频帧图像上的位置获得所述位置评分的步骤包括：

计算该人脸图像上所述目标人脸在x轴方向的第一位置评分；

计算该人脸图像上所述目标人脸在y轴方向的第二位置评分；

根据所述第一位置评分以及所述第二位置评分计算所述位置评分。

3.根据权利要求2所述的图像处理方法，其特征在于，所述计算该人脸图像上所述目标人脸在x轴方向的第一位置评分的步骤包括：

计算该人脸图像对应的所述视频帧图像上所述目标人脸与该视频帧图像的左边界的第一距离；

如果所述第一距离小于第一阈值，则根据第一预设规则计算所述目标人脸的第一位置评分；

如果所述第一距离大于第二阈值，则根据第二预设规则计算所述目标人脸的第一位置评分；

如果所述第一距离在第一阈值与第二阈值之间，则根据第三预设规则计算所述目标人脸的第一位置评分。

4.根据权利要求2所述的图像处理方法，其特征在于，所述计算该人脸图像上所述目标人脸在y轴方向的第二位置评分的步骤包括：

计算该人脸图像对应的视频帧图像上所述目标人脸与该视频帧图像的上边界的第二距离；

如果所述第二距离小于第三阈值，则根据第四预设规则计算所述目标人脸的第二位置评分；

如果所述第二距离大于第四阈值，则根据第五预设规则计算所述目标人脸的第二位置评分；

如果所述第二距离在第三阈值与第四阈值之间，则根据第六预设规则计算所述目标人脸的第二位置评分。

5.根据权利要求1所述的图像处理方法，其特征在于，所述针对每幅所述人脸图像获取所述目标人脸的多个面部特征关键点的步骤包括：

分别将每幅所述人脸图像输入预先训练好的关键点检测模型，获得该人脸图像的所述面部特征关键点。

6.根据权利要求1所述的图像处理方法，其特征在于，在所述根据所述目标人脸在该人脸图像上的尺寸获得所述尺寸评分的步骤前，所述方法还包括，

针对每幅所述人脸图像获取所述目标人脸的人脸检测框；

所述根据所述目标人脸在该人脸图像上的尺寸获得所述尺寸评分的步骤包括：

根据所述目标人脸在所有所述人脸图像中的人脸检测框的尺寸计算所述目标人脸的平均尺寸；

根据所述平均尺寸计算所述目标人脸在该人脸图像上的所述尺寸评分。

7.根据权利要求1-6任一项所述的图像处理方法，其特征在于，所述从多幅视频帧图像获取目标人脸的多幅人脸图像前，所述方法还包括，

针对每幅视频帧图像检测所述目标人脸，获得多幅包括所述目标人脸的所述人脸图像。

8.根据权利要求1-6任一项所述的图像处理方法，其特征在于，所述评分机制还包括用于表征所述目标人脸是人脸的可能性的置信度评分，所述方法还包括，

获取所述置信度评分；

所述针对每幅人脸图像，根据该人脸图像的各项所述子评分获得该人脸图像的综合评分的步骤包括，

根据该人脸图像的所述置信度评分、所述倾斜程度评分、所述尺寸评分以及所述位置评分获得该人脸图像的综合评分。

9.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于从多幅视频帧图像获取目标人脸的多幅人脸图像；

第一评分模块，用于针对每幅所述人脸图像采用多项评分机制分别进行评分，获得该人脸图像的各项子评分，其中，所述评分机制至少包括倾斜程度评分、尺寸评分以及位置评分中的一项；

第二评分模块，用于针对每幅人脸图像，根据该人脸图像的各项所述子评分获得该人脸图像的综合评分；

筛选模块，用于根据每幅所述人脸图像的所述综合评分筛选出至少一幅所述人脸图像；

其中，所述倾斜程度评分用于表征所述目标人脸的倾斜程度，所述倾斜程度评分的计算步骤包括：

针对每幅所述人脸图像获取所述目标人脸的多个面部特征关键点；

根据多个所述面部特征关键点计算所述目标人脸在左右方向偏转的第一偏转程度；

根据多个所述面部特征关键点计算所述目标人脸在俯仰方向偏转的第二偏转程度；

根据多个所述面部特征关键点计算所述目标人脸在左右方向转动的转动程度的计算步骤包括：

以鼻尖点O为基准点，获取两眼中心点连线的中点M1以及两嘴角点连线的中点M2，计算与/>的夹角α3；

当所述目标人脸在水平方向上及竖直方向均无偏转时，所述与所述/>的夹角为临界值180°；

当所述目标人脸在水平方向上有偏转时，所述与所述/>的夹角将随之减小；

当所述目标人脸在向左或向右转动到90°时，所述与所述/>的夹角逐渐减小，逐渐趋近固定值α_L；

其中，所述α3的余弦值越大则所述目标人脸在对应方向的转动角度越小，所述转动程度q_2,3值越接近于1，其中所述q_2,3的计算如公式为：

q_2,3＝cosα3；

根据所述第一偏转程度、所述第二偏转程度以及所述转动程度计算所述倾斜程度评分；

所述尺寸评分用于表征该人脸图像上所述目标人脸与所有所述人脸图像上的所述目标人脸的相对大小，所述尺寸评分的计算步骤包括，

根据所述目标人脸在该人脸图像上的尺寸获得所述尺寸评分；

所述位置评分用于表征在该视频帧图像上所述目标人脸与该视频帧图像中心的距离，所述位置评分的计算步骤包括：

根据所述目标人脸在该人脸图像对应的所述视频帧图像上的位置获得所述位置评分。