CN109711268A - 一种人脸图像筛选方法及设备 - Google Patents

Abstract

本发明公开了一种人脸图像筛选方法及设备，能够结合人脸图像中的特征信息从同一个人脸的人脸图像中筛选出高质量的人脸图像，有很高的实用性以及稳定性。该方法包括：将同一人脸的多个训练人脸图像输入到人脸质量评价模型，所述人脸质量评价模型为利用训练数据集训练获得，所述训练数据集包括预先采集的训练人脸图像、该训练人脸图像与注册样本之间的训练相似度及该训练人脸图像的人脸特征点坐标；将需要进行人脸质量评价的同一人脸的多个训练人脸图像输入到人脸质量评价模型，得到每个人脸图像的相似度及人脸特征点坐标；根据所述每个人脸图像的相似度及人脸特征点坐标进行人脸图像筛选。

Description

一种人脸图像筛选方法及设备

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种人脸图像筛选方法及设备。

背景技术

近几年，监控视频人脸识别技术取得了巨大的进步和发展，然而监控视频场景下人脸质量较低，而且人脸的质量容易受到多种因素的影响，比如人脸的姿态、表情变化较多，监控视频中人脸质量会由于一些亮度的变化，物体的遮挡产生不同程度的变化，监控视频中同一个人的人脸会连续出现在相邻的多帧视频帧中，如果对每帧中的人脸进行识别，计算量会很大，因此从人脸图像序列中优选出高质量的人脸图像很有实用价值。

现有技术中同一人脸的人脸图像筛选方法有以下两种方式：

一种是基于人脸多属性加权计算的优选方法，这种方法利用人脸的多个属性，比如光照、对比度、模糊、亮度、锐度和曝光度等属性，以及人脸具有的特殊属性，比如光照对称性，姿态对称性等属性，对上述每一个属性计算一个分值，然后乘以该属性的权重，最后将上述分值乘以权重的乘积进行累加求和，作为该人脸图像优选的质量值，但这种方法的缺点是：对人脸多个属性进行取舍时，优选哪些属性作为人脸图像优选的质量值，并没有合理可信的标准，此外，每个属性权重也难以调整，不能获得一组合理可信的权重值。

另一种是基于深度学习人脸序列优选方法，该方法需要大量人脸图像样本，并对每一幅人脸样本标注一个质量得分，然后设计一个人脸图像深度网络模型，通过大量的数据对该深度网络模型进行训练，训练好的人脸图像质量评价深度网络模型可以对人脸图像质量打分，但这种方法的缺点是：对每一个人脸样本标注一个质量得分，这个质量得分并没有考虑人脸识别中的人脸特征信息。

发明内容

本发明提供一种人脸图像筛选方法及设备，能够从同一个人脸的人脸图像中获得高质量的人脸图像，并结合人脸图像中的特征信息从高质量的人脸图像中确定最优的人脸图像，有很高的实用性以及稳定性。

本发明提供一种人脸图像筛选方法，该方法包括：

将同一人脸的多个训练人脸图像输入到人脸质量评价模型，所述人脸质量评价模型为利用训练数据集训练获得，所述训练数据集包括预先采集的同一人脸的训练人脸图像、该训练人脸图像与注册样本之间的训练相似度及该训练人脸图像的人脸特征点坐标，所述注册样本为预先采集的同一人脸的训练人脸图像中，训练人脸图像质量符合设定标准的一个训练人脸图像；

将需要进行人脸质量评价的同一人脸的多个训练人脸图像输入到人脸质量评价模型，得到每个人脸图像的相似度及人脸特征点坐标；

根据所述每个人脸图像的相似度及人脸特征点坐标进行人脸图像筛选。

本发明提供一种人脸图像筛选设备，该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器用于执行如下步骤：

将同一人脸的多个训练人脸图像输入到人脸质量评价模型，所述人脸质量评价模型为利用训练数据集训练获得，所述训练数据集包括预先采集的同一人脸的训练人脸图像、该训练人脸图像与注册样本之间的训练相似度及该训练人脸图像的人脸特征点坐标，所述注册样本为预先采集的同一人脸的训练人脸图像中，训练人脸图像质量符合设定标准的一个训练人脸图像；

将需要进行人脸质量评价的同一人脸的多个训练人脸图像输入到人脸质量评价模型，得到每个人脸图像的相似度及人脸特征点坐标；

根据所述每个人脸图像的相似度及人脸特征点坐标进行人脸图像筛选。

本发明提供的一种人脸图像筛选方法及设备，具有以下有益效果：

本发明能够先将同一个人的人脸图像经过人脸质量评价模型输出多个高质量的同一人脸图像，然后从多个高质量的同一人脸图像中利用每个人脸图像中的特征部位的特征信息与标准图像中的特征信息进行比较，获得质量最好的人脸图像，既不用考虑影响人脸图像质量的多个属性，也结合了人脸图像中的特征信息对高质量的人脸图像进行选择，有很高的实用性以及稳定性。

附图说明

图1为一种人脸图像筛选方法流程图；

图2为计算图像LBP特征向量示意图；

图3为计算图像HOG特征向量示意图；

图4为人脸质量评价模型训练网络结构图；

图5为设定标准人脸图像示意图；

图6为人脸图像筛选过程示意图；

图7为一种人脸图像筛选装置图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

本发明提供一种人脸图像筛选方法，能够从同一个人脸的多个人脸图像中筛选出质量较高甚至最高的人脸图像，并且根据筛选出的人脸图像中的特征点坐标确定较优甚至最优的人脸图像。方法如图1所示，具体步骤如下：

步骤101：将同一人脸的多个训练人脸图像输入到人脸质量评价模型，上述人脸质量评价模型为利用训练数据集训练获得，上述训练数据集包括预先采集的同一人脸的训练人脸图像、该训练人脸图像与注册样本之间的训练相似度及该训练人脸图像的人脸特征点坐标，上述注册样本为预先采集的同一人脸的训练人脸图像中，训练人脸图像质量符合设定标准的一个训练人脸图像。

实施中，一个注册样本对应同一个人脸的人脸图像，多个不同人脸的人脸图像中，可以选择多个注册样本，其中，每个注册样本都对应同一个人脸的人脸图像。每个注册样本可以是属于同一人脸的人脸图像中人脸图像质量符合设定标准的人脸图像。

实施中，注册样本的人脸图像质量需要符合设定标准，一般的，在属于同一人脸的人脸图像中，根据人脸图像参数筛选注册样本，上述人脸图像参数可以但不限于是人脸的角度、图像清晰度等。

例如：选取人脸角度为正面角度的人脸图像且人脸图像清晰度高于预设值的人脸图像作为注册样本；或者

选取人脸图像中的人脸相对于正面人脸的偏移角度属于预设角度范围内且人脸图像清晰度最高的人脸图像作为注册样本；或者

选取人脸图像中的人脸相对于正面人脸的偏移角度属于预设角度范围内，且人脸图像清晰度高于预设值的人脸图像作为注册样本。

实施中，上述训练数据集中的训练人脸图像，可以是预先采集的同一人脸的多个训练人脸图像，也可以是预先采集的不同人脸对应的多个训练人脸图像，具体的，一种是利用训练数据集中的预先采集的同一人脸A的多个训练人脸图像对人脸质量评价模型进行训练，另一种是利用训练数据集中的预先采集的同一人脸A的多个训练人脸图像、同一人脸B以及同一人脸C对应的多个训练人脸图像对人脸质量评价模型进行训练，上述人脸A、人脸B以及人脸C不是同一个人的人脸。

实施中，利用训练数据集对人脸质量评价模型进行训练，包括：

将预先采集的同一人脸的训练人脸图像输入到人脸质量评价模型；

根据上述人脸质量评价模型输出的训练相似度及训练人脸特征点坐标，与该人脸图像与注册样本之间的相似度及人脸特征点坐标之间的差异，调整上述人脸质量评价模型的参数；

确定上述差异在设定误差范围内时，结束人脸质量评价模型训练。

实施中，上述人脸质量评价模型包括三个卷积层、三个池化层以及一个全链接层，调整上述人脸质量评价模型的参数，包括：

调整上述三个卷积层以及一个全链接层的参数。

具体的，将同一人脸的人脸图像作为训练样本，输入人脸质量评价模型中，利用人脸质量评价模型中的三个卷积层、三个池化层以及一个全链接层，对人脸质量评价模型中各个层的参数进行训练；

训练完成后，上述人脸质量评价模型输出一个十一维的特征向量，第一维特征向量是人脸图像与注册样本之间的相似度，剩余十维特征向量分别是人脸特征点坐标。

训练网络结构如图4所示，包括三个卷积层，三个池化层，一个全链接层。其中人脸图像先输入到卷积层convolution，通过每个卷积层中的卷积核提取人脸图像中的特征信息，输出表达人脸图像特征信息的特征图，通过人脸质量评价模型训练确定卷积核中的参数，上述特征图是二维图；

将上述卷积层中输出的特征图输入到池化层，用于降低输入的特征图的尺寸，减少需要计算的数据量，输出缩小尺寸的特征图；

图4中通过3个卷积层convolution，3个池化层downsampling，将输入的人脸图像经过3次卷积层和3个池化层的处理，最后将人脸图像的特征图输入到全链接层；

全链接层是将上述二维特征图转化成一维特征向量，获得高度提纯的特征，全链接层的权重参数通过模型训练获得，最后输出是一维的特征向量。

图4中的英文标识，convolution表示该层是卷积层，downsampling表示该层是池化层。输入的人脸图像尺寸是100×60灰度图，使用4个3×3尺寸的卷积核做卷积操作，输出4×98×58尺寸的特征图，然后对该特征图做池化操作，宽高减半，获得4×49×29尺寸的特征图。同理，后来再做两次卷积层的卷积操作和池化层的池化操作，得到16×11×6尺寸的特征图。将最后得到的16×11×6尺寸的特征图送入全链接层，输出该人脸的质量得分score和5个特征点的坐标分别是leyex、leyey、reyex、reyey、nosex、nosey、lmouthx、lmouthy、rmouthx、rmouthy。

实施中，利用训练数据集中的预先采集的同一人脸的训练人脸图像、该训练人脸图像与注册样本之间的训练相似度及该训练人脸图像的人脸特征点坐标对上述人脸质量评价模型进行训练，其中，上述该训练人脸图像与注册样本之间的训练相似度可以根据如下方式确定。

作为一种可选的实施方式，确定训练人脸图像与注册样本之间的训练相似度，包括：

根据训练人脸图像中的局部二值模式LBP特征向量和方向梯度直方图HOG特征向量，以及注册样本中的局部二值模式LBP特征向量和方向梯度直方图HOG特征向量，确定训练人脸图像与注册样本之间的训练相似度。

具体的，上述LBP(Local Binary Pattern)特征向量用来描述图像局部纹理特征，该特征向量具有多分辨率、灰度尺度不变和旋转不变的特性，用上述LBP特征向量反映该图像区域纹理信息。

如图2所示，对单眼图像定义3*3的单眼图像窗口，每个窗口中的数值是每个窗口单眼图像的像素值；窗口中心为单眼图像像素阈值，窗口中心相邻的单眼图像像素值若大于上述单眼图像像素阈值，记为1，否则记为0；3*3的单眼图像窗口邻域内的八个窗口可以产生8位二进制数，如该单眼图像的LBP特征向量为01101100。

具体的，上述HOG(Histogram of Oriented Gradient)特征向量，用于描述局部图像梯度的方向信息，利用图像梯度或图像边缘的方向密度分布，计算图像局部区域的梯度方向直方图构成特征。

如图3所示，HOG特征向量具体计算步骤如下：

步骤301：将人脸彩色图像转为人脸灰度图像；

步骤302：利用索贝尔sobel算子计算人脸灰度图像的梯度矢量，上述梯度矢量包括梯度值和梯度方向；

具体的，人脸图像大小可以用100*60个像素表示，按照10*6个像素划分为一个单元，2*2个单元构成一个模块，上述人脸图像共有25个模块组成；

计算人脸图像中每个像素点的梯度值和梯度方向。

步骤303：统计上述每个单元的方向梯度直方图，根据每个单元的方向和每个单元的组距确定每个单元的HOG特征向量长度。方向梯度中方向范围为2*pi，就是360°，组距是一个合适的角度值，以该角度值均匀划分360°。如：方向为2*pi(pi＝3.1415926)，组距为2*pi/9，即组距表示的度数范围为40°，得出一个单元的HOG特征向量的长度为9。

具体的，上述人脸图像中同一个模块下所有单元的HOG特征向量串联在一起，就是一个模块的HOG特征向量。一幅图像中所有模块的HOG特征向量串联在一起，就是该图像的HOG特征向量，总共有25*4*9＝900维向量。

实施中，根据上述图2方式，能够确定人脸图像的LBP特征向量和注册样本的LBP特征向量；根据上述图3方式，能够确定及人脸图像的HOG特征向量和注册样本的HOG特征向量。

作为一种可选的实施方式，确定训练人脸图像与注册样本之间的训练相似度，还包括：

根据训练人脸图像中的特征向量LBP和HOG特征向量确定第一拼接特征向量，根据注册样本中的特征向量LBP和HOG特征向量确定第二拼接特征向量；

根据第一拼接特征向量与第二拼接特征向量的欧式距离，确定训练人脸图像与注册样本之间的训练相似度。

实施中，确定训练人脸图像与注册样本之间的训练相似度具体计算步骤如下所示：

获取训练人脸图像中每个单元的LBP特征向量记为flbp，HOG特征向量记为fhog，确定第一拼接特征向量为fconcat_register＝flbp+fhog；

获取注册样本每个单元的LBP特征向量记为flbp_train，HOG特征向量记为fhog_train，确定第二拼接特征向量为fconcat_train＝flbp_train+fhog_train；利用公式：

其中，i是人脸图像单元数，i≥1；d(fconcat_train，fconcat_register)是上述第一拼接特征向量与第二拼接特征向量的欧式距离；quality_score表示人脸图像与注册样本之间的训练相似度。

步骤102：将需要进行人脸质量评价的同一人脸的多个训练人脸图像输入到人脸质量评价模型，得到每个人脸图像的相似度及人脸特征点坐标。

实施中，上述多个训练人脸图像可以是训练数据集中预先采集的同一人脸的训练人脸图像，也可以是除训练数据集中的训练人脸图像以外的需要进行人脸质量评价的没有预先采集的训练人脸图像，这里对输入到人脸质量评价模型中的训练人脸图像不作具体的限定。

经过训练数据集训练完成的人脸质量评价模型能够输出任一需要进行人脸图像筛选的同一人脸的人脸图像的相似度及特征点坐标。

步骤103：根据上述每个人脸图像的相似度及人脸特征点坐标进行人脸图像筛选。

作为一种可选的实施方式，根据上述每个人脸图像的相似度及人脸特征点坐标进行人脸图像筛选，包括：

按照相似度由高到低的顺序，筛选同一人脸的设定数量个人脸图像；

根据筛选出的人脸图像的人脸特征点坐标与设定标准人脸特征点坐标之间的距离，从上述筛选出的人脸图像中二次筛选人脸图像。

上述设定标准人脸特征点坐标如图5所示，人脸清晰度高，且人脸图像为正面人脸图像，人脸特征点清晰。

具体的，对人脸图像进行两次筛选，一次筛选是从同一人脸的人脸图像中根据训练好的人脸质量评价模型获得同一人脸图像相似度最高的几个人脸图像，相似度越高说明获取的人脸图像的质量越好，例如可以获得同一人脸图像相似度最高的5个人脸图像，利用该5个人脸图像的人脸特征点坐标与设定标准人脸特征点坐标之间的距离，进行二次筛选。

作为一种可选的实施方式，人脸特征点坐标包括如下任一或任多个坐标：

左眼中心坐标、右眼中心坐标、鼻尖坐标、左嘴角坐标以及右嘴角坐标。

实施中，按照相似度由高到低的顺序，可以筛选出同一人脸的人脸图像中相似度最高的5个人脸图像，根据筛选出的5个人脸图像能够确定5个人脸图像分别对应的上述5个特征点坐标。

例如：5个特征点坐标分别为：左眼中心leye(0.31，0.38)、右眼中心reye(0.71，0.38)、鼻尖nose(0.51，0.56)、左嘴角lmouth(0.35，0.78)、右嘴角rmouth(0.63，0.78)。

作为一种可选的实施方式，上述人脸特征点坐标与设定标准人脸特征点坐标之间的距离为欧式距离。

具体的，计算每个人脸图像中上述五个特征点坐标向量与设定标准人脸五个特征点坐标向量之间的欧式距离，筛选出距离最小的人脸图像作为人脸图像筛选的最终结果，其中，欧式距离公式为：

其中，ρ为人脸图像特征点坐标(x₂，y₂)与标准人脸图像特征点坐标(x₁，y₁)之间的欧氏距离。

可选的，计算人脸图像左眼中心坐标与标准人脸左眼中心坐标之间的距离L1；人脸图像右眼中心坐标与标准人脸右眼中心坐标之间的距离L2；人脸图像鼻尖坐标与标准人脸鼻尖坐标之间的距离L3；人脸图像左嘴角坐标与标准人脸左嘴角坐标之间的距离L4；人脸图像右嘴角坐标与标准人脸右嘴角坐标之间的距离L5；对上述L1、L2、L3、L4、L5求和得到求和值，或者求平均值；确定上述求和值或者平均值为上述人脸图像中五个特征点坐标向量与上述设定标准人脸五个特征点坐标向量之间的距离。

上述每个特征点坐标相对于人脸图像的左上角原点，每个特征点坐标为相对坐标，即每个特征点坐标都归一化到[0,1]的范围内。

实施中，人脸图像的筛选过程如图6所示：

步骤601：多个同一人脸的人脸图像输入至人脸质量评价模型；

步骤602：输出上述人脸图像与注册样本之间的相似度最高的5个人脸图像；

具体的，注册样本为上述人脸图像中的一个人脸图像质量符合设定标准的人脸图像，其中5个人脸图像的相似度分别是0.81、0.92、0.91、0.87、0.85。

步骤603：计算上述5个人脸图像的人脸特征点坐标与图5中的标准人脸特征点坐标之间的欧式距离。

图6中5个人脸图像的人脸特征点坐标与图5中的标准人脸特征点坐标之间的欧式距离分别为：0.88、0.47、0.35、0.56、0.52。

步骤604：筛选出上述人脸图像欧式距离最小值作为筛选结果。

综上所述，本发明中利用比较同一人脸的每个训练人脸图像与注册样本之间的LBP和HOG特征向量的相似度来表示人脸图像质量得分，而非人工标注人脸图像质量得分；利用训练后的人脸质量评价模型对同一人脸的多个人脸图像进行人脸图像质量评价，该人脸质量评价模型不仅输出人脸图像与注册样本之间的相似度，还输出人脸图像的特征点的坐标；根据上述相似度值的大小，选出五个质量得分最高的人脸图像，计算该五个人脸图像对应的上述五个特征点坐标与标准人脸五个特征点坐标之间的距离，选择该距离最小的人脸图像，作为人脸图像筛选的最终结果，此时筛选出的人脸图像是图像质量最高且和设定标准人脸最接近的人脸图像。

因此，本发明能够从同一个人脸的人脸图像中获得高质量的人脸图像，并结合人脸图像中的特征信息从高质量的人脸图像中确定最优的人脸图像，有很高的实用性以及稳定性。

实施例二

基于同一发明构思，本发明还提供一种人脸图像筛选设备，该设备的具体实施可参见方法实施例部分的描述，重复之处不再赘述。

该设备包括：处理器以及存储器，其中，上述存储器存储有程序代码，当上述程序代码被上述处理器执行时，使得上述处理器用于执行如下步骤：

将同一人脸的多个训练人脸图像输入到人脸质量评价模型，上述人脸质量评价模型为利用训练数据集训练获得，上述训练数据集包括预先采集的同一人脸的训练人脸图像、该训练人脸图像与注册样本之间的训练相似度及该训练人脸图像的人脸特征点坐标，上述注册样本为预先采集的同一人脸的训练人脸图像中，训练人脸图像质量符合设定标准的一个训练人脸图像；

将需要进行人脸质量评价的同一人脸的多个训练人脸图像输入到人脸质量评价模型，得到每个人脸图像的相似度及人脸特征点坐标；

根据上述每个人脸图像的相似度及人脸特征点坐标进行人脸图像筛选。

作为一种可选的实施方式，利用训练数据集对人脸质量评价模型进行训练，包括：

将预先采集的同一人脸的训练人脸图像输入到人脸质量评价模型；

根据上述人脸质量评价模型输出的训练相似度及训练人脸特征点坐标，与该人脸图像与注册样本之间的相似度及人脸特征点坐标之间的差异，调整上述人脸质量评价模型的参数；

确定上述差异在设定误差范围内时，结束人脸质量评价模型训练。

作为一种可选的实施方式，根据上述每个人脸图像的相似度及人脸特征点坐标进行人脸图像筛选，包括：

按照相似度由高到低的顺序，筛选同一人脸的设定数量个人脸图像；

根据筛选出的人脸图像的人脸特征点坐标与设定标准人脸特征点坐标之间的距离，从上述筛选出的人脸图像中二次筛选人脸图像。

作为一种可选的实施方式，确定训练人脸图像与注册样本之间的训练相似度，包括：

根据训练人脸图像中的局部二值模式LBP特征向量和方向梯度直方图HOG特征向量，以及注册样本中的局部二值模式LBP特征向量和方向梯度直方图HOG特征向量，确定训练人脸图像与注册样本之间的训练相似度。

作为一种可选的实施方式，确定训练人脸图像与注册样本之间的训练相似度，还包括：

根据训练人脸图像中的特征向量LBP和HOG特征向量确定第一拼接特征向量，根据注册样本中的特征向量LBP和HOG特征向量确定第二拼接特征向量；

根据第一拼接特征向量与第二拼接特征向量的欧式距离，确定训练人脸图像与注册样本之间的训练相似度。

作为一种可选的实施方式，上述人脸特征点坐标包括如下任一或任多个坐标：

左眼中心坐标、右眼中心坐标、鼻尖坐标、左嘴角坐标以及右嘴角坐标。

作为一种可选的实施方式，上述人脸质量评价模型包括三个卷积层、三个池化层以及一个全链接层，调整上述人脸质量评价模型的参数，包括：

调整上述三个卷积层、三个池化层以及一个全链接层的参数。

作为一种可选的实施方式，上述人脸特征点坐标与设定标准人脸特征点坐标之间的距离为欧式距离。

实施例三

基于同一发明构思，本发明还提供一种人脸图像筛选装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述。

如图7所示，该装置包括：

人脸输入单元701，用于将同一人脸的多个训练人脸图像输入到人脸质量评价模型，上述人脸质量评价模型为利用训练数据集训练获得，上述训练数据集包括预先采集的同一人脸的训练人脸图像、该训练人脸图像与注册样本之间的训练相似度及该训练人脸图像的人脸特征点坐标，上述注册样本为预先采集的同一人脸的训练人脸图像中，训练人脸图像质量符合设定标准的一个训练人脸图像；

人脸输出单元702，用于将需要进行人脸质量评价的同一人脸的多个训练人脸图像输入到人脸质量评价模型，得到每个人脸图像的相似度及人脸特征点坐标；

人脸筛选单元703，用于根据上述每个人脸图像的相似度及人脸特征点坐标进行人脸图像筛选。

作为一种可选的实施方式，利用训练数据集对人脸质量评价模型进行训练，包括：

将预先采集的同一人脸的训练人脸图像输入到人脸质量评价模型；

根据上述人脸质量评价模型输出的训练相似度及训练人脸特征点坐标，与该人脸图像与注册样本之间的相似度及人脸特征点坐标之间的差异，调整上述人脸质量评价模型的参数；

确定上述差异在设定误差范围内时，结束人脸质量评价模型训练。

作为一种可选的实施方式，人脸筛选单元703还用于：

按照相似度由高到低的顺序，筛选同一人脸的设定数量个人脸图像；

根据筛选出的人脸图像的人脸特征点坐标与设定标准人脸特征点坐标之间的距离，从上述筛选出的人脸图像中二次筛选人脸图像。

作为一种可选的实施方式，确定训练人脸图像与注册样本之间的训练相似度，包括：

根据训练人脸图像中的局部二值模式LBP特征向量和方向梯度直方图HOG特征向量，以及注册样本中的局部二值模式LBP特征向量和方向梯度直方图HOG特征向量，确定训练人脸图像与注册样本之间的训练相似度。

作为一种可选的实施方式，确定训练人脸图像与注册样本之间的训练相似度，还包括：

根据训练人脸图像中的特征向量LBP和HOG特征向量确定第一拼接特征向量，根据注册样本中的特征向量LBP和HOG特征向量确定第二拼接特征向量；

根据第一拼接特征向量与第二拼接特征向量的欧式距离，确定训练人脸图像与注册样本之间的训练相似度。

作为一种可选的实施方式，上述人脸特征点坐标包括如下任一或任多个坐标：

左眼中心坐标、右眼中心坐标、鼻尖坐标、左嘴角坐标以及右嘴角坐标。

作为一种可选的实施方式，上述人脸质量评价模型包括三个卷积层、三个池化层以及一个全链接层，调整上述人脸质量评价模型的参数，包括：

调整上述三个卷积层、三个池化层以及一个全链接层的参数。

作为一种可选的实施方式，上述人脸特征点坐标与设定标准人脸特征点坐标之间的距离为欧式距离。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种人脸图像筛选方法，其特征在于，该方法包括：

将同一人脸的多个训练人脸图像输入到人脸质量评价模型，所述人脸质量评价模型为利用训练数据集训练获得，所述训练数据集包括预先采集的同一人脸的训练人脸图像、该训练人脸图像与注册样本之间的训练相似度及该训练人脸图像的人脸特征点坐标，所述注册样本为预先采集的同一人脸的训练人脸图像中，训练人脸图像质量符合设定标准的一个训练人脸图像；

将需要进行人脸质量评价的同一人脸的多个训练人脸图像输入到人脸质量评价模型，得到每个人脸图像的相似度及人脸特征点坐标；

根据所述每个人脸图像的相似度及人脸特征点坐标进行人脸图像筛选。

2.根据权利要求1所述的方法，其特征在于，利用训练数据集对人脸质量评价模型进行训练，包括：

将预先采集的同一人脸的训练人脸图像输入到人脸质量评价模型；

根据所述人脸质量评价模型输出的训练相似度及训练人脸特征点坐标，与该人脸图像与注册样本之间的相似度及人脸特征点坐标之间的差异，调整所述人脸质量评价模型的参数；

确定所述差异在设定误差范围内时，结束人脸质量评价模型训练。

3.根据权利要求1所述的方法，其特征在于，根据所述每个人脸图像的相似度及人脸特征点坐标进行人脸图像筛选，包括：

按照相似度由高到低的顺序，筛选同一人脸的设定数量个人脸图像；

根据筛选出的人脸图像的人脸特征点坐标与设定标准人脸特征点坐标之间的距离，从所述筛选出的人脸图像中二次筛选人脸图像。

4.根据权利要求1所述的方法，其特征在于，确定训练人脸图像与注册样本之间的训练相似度，包括：

根据训练人脸图像中的局部二值模式LBP特征向量和方向梯度直方图HOG特征向量，以及注册样本中的局部二值模式LBP特征向量和方向梯度直方图HOG特征向量，确定训练人脸图像与注册样本之间的训练相似度。

5.根据权利要求4所述的方法，其特征在于，还包括：

根据训练人脸图像中的特征向量LBP和HOG特征向量确定第一拼接特征向量，根据注册样本中的特征向量LBP和HOG特征向量确定第二拼接特征向量；

根据第一拼接特征向量与第二拼接特征向量的欧式距离，确定训练人脸图像与注册样本之间的训练相似度。

6.根据权利要求1所述的方法，其特征在于，所述人脸特征点坐标包括如下任一或任多个坐标：

左眼中心坐标、右眼中心坐标、鼻尖坐标、左嘴角坐标以及右嘴角坐标。

7.根据权利要求2所述的方法，其特征在于，所述人脸质量评价模型包括三个卷积层、三个池化层以及一个全链接层，调整所述人脸质量评价模型的参数，包括：

利用每个卷积层提取输入的人脸图像特征，调整每个卷积层中的参数，输出人脸图像特征图到池化层；

利用每个池化层降低输入的人脸图像特征图的尺寸，输出降低尺寸后的人脸图像特征图；

利用全链接层将最后一个池化层输出的人脸图像特征图转化成一维特征向量，调整全链接层的权重参数。

8.根据权利要求3所述的方法，其特征在于，所述人脸特征点坐标与设定标准人脸特征点坐标之间的距离为欧式距离。

9.一种人脸图像筛选设备，其特征在于，该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1～7任一所述方法的步骤。

10.一种人脸图像筛选装置，其特征在于，包括：

训练人脸输入单元，用于将同一人脸的多个训练人脸图像输入到人脸质量评价模型，所述人脸质量评价模型为利用训练数据集训练获得，所述训练数据集包括预先采集的同一人脸的训练人脸图像、该训练人脸图像与注册样本之间的训练相似度及该训练人脸图像的人脸特征点坐标，所述注册样本为预先采集的同一人脸的训练人脸图像中，训练人脸图像质量符合设定标准的一个训练人脸图像；

训练人脸输出单元，用于将需要进行人脸质量评价的同一人脸的多个训练人脸图像输入到人脸质量评价模型，得到每个人脸图像的相似度及人脸特征点坐标；

人脸图像筛选单元，用于根据所述每个人脸图像的相似度及人脸特征点坐标进行人脸图像筛选。