CN109635693B - 一种正脸图像检测方法及装置 - Google Patents

Abstract

本发明提供了一种正脸图像检测方法及装置，方法包括：对图像帧进行目标检测得到目标信息，根据目标信息确定目标信息队列；确定待检测目标队列；将待检测目标队列中的每一目标矩形框作为每一待检测矩形框；判断每一待检测矩形框是否为新人脸矩形框；在判定每一待检测矩形框均不为新人脸矩形框后，针对每一跟踪目标，若该跟踪目标跟踪成功，该跟踪目标中的人脸类型为正脸类型且类型置信度大于预设类型置信度阈值，将该跟踪目标所跟踪的待检测矩形框中的目标图像作为输入图像，若该输入图像的人脸评分值大于预设评分值阈值，确定该输入图像为正脸图像。应用本发明实施例，提高了正脸图像检测的准确率。

Description

一种正脸图像检测方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种正脸图像检测方法及装置。

背景技术

随着人工智能技术的发展，越来越多的领域需要应用人脸识别或人脸跟踪技术来识别或跟踪图像中的人脸，识别率的高低主要取决于待检测图像的质量好坏，一般而言，若待检测图像为高质量正脸图像，识别率通常较高。因此，研究一种正脸图像检测方法变得越来越重要。

目前，正脸图像检测方法主要依赖于图像中的人脸特征点，由于当人脸处于不同的姿态或角度时，人脸特征点会发生变化，例如人脸在正脸和侧脸情况下的人脸特征点并不相同，因此，现有方法容易出现人脸比对不正确，使得正脸图像检测的准确率较低。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了一种电子地图中播放历史轨迹的方法及装置，以实现提高正脸图像检测的准确率。

本发明是这样实现的：

第一方面，本发明提供一种正脸图像检测方法，所述方法包括：

对图像帧进行目标检测，得到目标信息，所述目标信息包括目标矩形框、目标矩形框中的目标图像和目标置信度；

将目标置信度大于预设目标置信度阈值的目标信息输出至目标信息队列；

将所述目标信息队列中的每一目标图像输入至目标人脸分类模型，得到每一目标图像的人脸类型和类型置信度，将人脸类型不为非人脸类型的目标图像和该目标图像的类型置信度存入至所述目标信息队列中该目标图像所属的目标信息，并删除所述目标信息队列中人脸类型为非人脸类型的目标图像所属的目标信息，得到待检测目标队列；将所述待检测目标队列中的每一目标矩形框作为每一待检测矩形框；

针对每一待检测矩形框，将该待检测矩形框与跟踪目标队列中每一跟踪目标的人脸矩形框进行交并比计算，得到各交并比；根据各交并比判断该待检测矩形框是否为新人脸矩形框；所述跟踪目标队列用于存储跟踪目标，每一跟踪目标包括根据所述图像帧的上一图像帧所得的人脸信息；

在判定每一待检测矩形框均不为新人脸矩形框后，针对跟踪目标队列中的每一跟踪目标，判断该跟踪目标是否跟踪成功，若跟踪成功，判断该跟踪目标中的人脸类型是否为正脸类型且类型置信度是否大于预设类型置信度阈值，若人脸类型为正脸类型且类型置信度大于预设类型置信度阈值，则将该跟踪目标所跟踪的待检测矩形框中的目标图像作为输入图像，将该输入图像输入至目标人脸质量判定模型，得到该输入图像的人脸评分值；若该人脸评分值大于预设评分值阈值，确定该输入图像为正脸图像。

可选的，若该跟踪目标跟踪成功，所述方法还包括：

用该跟踪目标所跟踪的待检测矩形框更新该跟踪目标的人脸矩形框；

在确定该输入图像为正脸图像后，所述方法还包括：

用该输入图像更新该跟踪目标中的人脸图像。

可选的，在判定该待检测矩形框为新人脸矩形框后，所述方法还包括：

在跟踪目标队列中新建用于跟踪该待检测矩形框的新跟踪目标；设置该新跟踪目标的已上报标识值为空值，并用该待检测矩形框所属的目标信息初始化该新跟踪目标。

可选的，在确定该输入图像为正脸图像后，所述方法还包括：

上传该输入图像；并将该跟踪目标的已上报标识值设置为非空值。

可选的，跟踪目标还包括已上报标识值，若该跟踪目标跟踪不成功，所述方法还包括：

累加该跟踪目标的丢失次数；判断该跟踪目标累加后的丢失次数是否大于预设丢失阈值；若大于，确定该跟踪目标的已上报标识值是否为空值；在确定不为空值后，删除该跟踪目标；在确定为空值后，上传该跟踪目标中的人脸图像，在上传该人脸图像后，删除该跟踪目标。

可选的，若该跟踪目标累加后的丢失次数不大于预设丢失阈值，所述方法还包括：

用该跟踪目标所跟踪的待检测矩形框更新该跟踪目标的人脸矩形框。

可选的，若该跟踪目标中的人脸类型不为正脸类型或类型置信度不大于预设类型置信度阈值，所述方法还包括：

用该跟踪目标所跟踪的待检测矩形框中的目标图像更新该跟踪目标中的人脸图像。

可选的，根据各交并比判断该待检测矩形框是否为新人脸矩形框，包括：

判断所得的各交并比中是否存在大于预设交并比阈值的交并比；

若存在，判定该待检测矩形框不为新人脸矩形框；

若不存在，判定该待检测矩形框为新人脸矩形框。

可选的，所述目标人脸质量判定模型是通过以下方式预先训练所得的：

针对预设人脸数据集中的每一人脸图像，将该人脸图像分别输入至第一卷积神经网络模型和第二卷积神经网络模型，得到第一卷积神经网络模型输出的该人脸图像的第一特征和第二卷积神经网络模型输出的该人脸图像的第二特征；将该人脸图像的第一特征和该人脸图像的第二特征进行特征融合，得到该人脸图像的目标特征；对该人脸图像的目标特征进行降维，得到该人脸图像的主特征；将该人脸图像的主特征和该人脸图像的人脸评分值合并，得到基于该人脸图像的输入数据；其中，预设人脸数据集包括各人脸图像和各人脸图像的人脸评分值；第一卷积神经网络模型和第二卷积神经网络模型分别为基于CaffeNet结构的卷积神经网络模型和基于无对准人脸属性分类技术的卷积神经网络模型；

用所得的基于预设人脸数据集中每一人脸图像的输入数据构成输入数据集；

将输入数据集分为训练数据集和验证数据集；用所述训练数据集和所述验证数据集训练预设初始分类器，得到训练至收敛的目标分类器；

用第一卷积神经网络模型、第二卷积神经网络模型和目标分类器组成目标人脸质量判定模型。

第二方面，本发明提供一种正脸图像检测装置，所述装置包括：

目标检测模块，用于对图像帧进行目标检测，得到目标信息，所述目标信息包括目标矩形框、目标矩形框中的目标图像和目标置信度；

输出模块，用于将目标置信度大于预设目标置信度阈值的目标信息输出至目标信息队列；

输入模块，用于将所述目标信息队列中的每一目标图像输入至目标人脸分类模型，得到每一目标图像的人脸类型和类型置信度，将人脸类型不为非人脸类型的目标图像和该目标图像的类型置信度存入至所述目标信息队列中该目标图像所属的目标信息，并删除所述目标信息队列中人脸类型为非人脸类型的目标图像所属的目标信息，得到待检测目标队列；将所述待检测目标队列中的每一目标矩形框作为每一待检测矩形框；

计算模块，用于针对每一待检测矩形框，将该待检测矩形框与跟踪目标队列中每一跟踪目标的人脸矩形框进行交并比计算，得到各交并比；根据各交并比判断该待检测矩形框是否为新人脸矩形框；所述跟踪目标队列用于存储跟踪目标，每一跟踪目标包括根据所述图像帧的上一图像帧所得的人脸信息；

确定模块，用于在判定每一待检测矩形框均不为新人脸矩形框后，针对跟踪目标队列中的每一跟踪目标，判断该跟踪目标是否跟踪成功，若跟踪成功，判断该跟踪目标中的人脸类型是否为正脸类型且类型置信度是否大于预设类型置信度阈值，若人脸类型为正脸类型且类型置信度大于预设类型置信度阈值，则将该跟踪目标所跟踪的待检测矩形框中的目标图像作为输入图像，将该输入图像输入至目标人脸质量判定模型，得到该输入图像的人脸评分值；若该人脸评分值大于预设评分值阈值，确定该输入图像为正脸图像。

可选的，所述装置还包括第一更新模块，用于：

若该跟踪目标跟踪成功，用该跟踪目标所跟踪的待检测矩形框更新该跟踪目标的人脸矩形框；

在确定该输入图像为正脸图像后，用该输入图像更新该跟踪目标中的人脸图像。

可选的，所述装置还包括：

初始化模块，用于在判定该待检测矩形框为新人脸矩形框后，在跟踪目标队列中新建用于跟踪该待检测矩形框的新跟踪目标；设置该新跟踪目标的已上报标识值为空值，并用该待检测矩形框所属的目标信息初始化该新跟踪目标。

可选的，所述装置还包括：

上传模块，用于在确定该输入图像为正脸图像后，上传该输入图像；并将该跟踪目标的已上报标识值设置为非空值。

可选的，跟踪目标还包括已上报标识值，所述装置还包括：

累加模块，用于若该跟踪目标跟踪不成功，累加该跟踪目标的丢失次数；判断该跟踪目标累加后的丢失次数是否大于预设丢失阈值；若大于，确定该跟踪目标的已上报标识值是否为空值；在确定不为空值后，删除该跟踪目标；在确定为空值后，上传该跟踪目标中的人脸图像，在上传该人脸图像后，删除该跟踪目标。

可选的，所述装置还包括第二更新模块，用于：

若该跟踪目标累加后的丢失次数不大于预设丢失阈值，用该跟踪目标所跟踪的待检测矩形框更新该跟踪目标的人脸矩形框。

可选的，所述装置还包括第三更新模块，用于：

若该跟踪目标中的人脸类型不为正脸类型或类型置信度不大于预设类型置信度阈值，用该跟踪目标所跟踪的待检测矩形框中的目标图像更新该跟踪目标中的人脸图像。

可选的，计算模块根据各交并比判断该待检测矩形框是否为新人脸矩形框，具体为：

判断所得的各交并比中是否存在大于预设交并比阈值的交并比；

若存在，判定该待检测矩形框不为新人脸矩形框；

若不存在，判定该待检测矩形框为新人脸矩形框。

可选的，所述装置还包括训练模块，用于通过以下方式预先训练得到所述目标人脸质量判定模型：

针对预设人脸数据集中的每一人脸图像，将该人脸图像分别输入至第一卷积神经网络模型和第二卷积神经网络模型，得到第一卷积神经网络模型输出的该人脸图像的第一特征和第二卷积神经网络模型输出的该人脸图像的第二特征；将该人脸图像的第一特征和该人脸图像的第二特征进行特征融合，得到该人脸图像的目标特征；对该人脸图像的目标特征进行降维，得到该人脸图像的主特征；将该人脸图像的主特征和该人脸图像的人脸评分值合并，得到基于该人脸图像的输入数据；其中，预设人脸数据集包括各人脸图像和各人脸图像的人脸评分值；第一卷积神经网络模型和第二卷积神经网络模型分别为基于CaffeNet结构的卷积神经网络模型和基于无对准人脸属性分类技术的卷积神经网络模型；

用所得的基于预设人脸数据集中每一人脸图像的输入数据构成输入数据集；

将输入数据集分为训练数据集和验证数据集；用所述训练数据集和所述验证数据集训练预设初始分类器，得到训练至收敛的目标分类器；

用第一卷积神经网络模型、第二卷积神经网络模型和目标分类器组成目标人脸质量判定模型。

本发明具有以下有益效果：应用本发明实施例，每一跟踪目标包括根据所述图像帧的上一图像帧所得的人脸信息，使得跟踪目标的实时性和可靠性更高，在判定跟踪目标跟踪成功、跟踪目标中的人脸类型为正脸类型且类型置信度大于预设类型置信度阈值后，再将该跟踪目标所跟踪的待检测矩形框中的目标图像作为输入图像，将该输入图像输入至目标人脸质量判定模型，得到该输入图像的人脸评分值；若该人脸评分值大于预设评分值阈值，确定该输入图像为正脸图像。保证了所确定的正脸图像为高质量正脸图像，提高了正脸图像检测的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的正脸图像检测方法的一种流程示意图；

图2为本发明实施例提供的正脸图像检测装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，本发明所提供的正脸图像检测方法可以应用于电子设备，其中，在具体应用中，该电子设备可以为计算机、个人电脑、平板、手机、前端等等，这都是合理的。另外，实现本发明实施例所提供的正脸图像检测方法的功能软件可以为专门的图像检测软件，也可以为具有图像检测功能的软件中的插件。

参见图1，本发明实施例提供一种正脸图像检测方法，方法包括如下步骤：

S101、对图像帧进行目标检测，得到目标信息，所述目标信息包括目标矩形框、目标矩形框中的目标图像和目标置信度；

电子设备(本发明的执行主体)可以获得摄像头、卡口等采集设备采集的视频或图像序列，从而可以获得视频或图像序列中的每一图像帧，并可以对所得的图像帧进行目标检测。

可以采用目标检测模型，对图像帧进行目标检测。本发明对具体采用的目标检测模型不做限定，例如，目标检测模型可以为Mask-RCNN(Mask region with cnn features，基于卷积神经网络特征的目标区域定位及分割模型)、SSD(Single ShotMultiBoxDetector，单次获取多个目标框检测模型)或YOLO(You Only Look Once，单次获取所有目标检测模型)等。

进行目标检测，可以得到图像帧中各目标所在的目标矩形框，目标矩形框中的目标图像和目标置信度等信息，目标置信度用于反映目标矩形框中的目标图像为目标在图像帧中的实际图像的可信程度，目标置信度越高，可信程度越大。目标可以是人、动物、电线杆等生活图像或道路图像中可能出现的物体。一个图像帧中可以有一个或多个目标，从而可以检测出一个或多个目标矩形框，得到一个或多个目标信息。

S102、将目标置信度大于预设目标置信度阈值的目标信息输出至目标信息队列；

预设目标置信度阈值可以根据需求事先设定，例如，可以为0.7、0.8、0.9等等。每一目标信息都包含目标置信度，可以将所包含的目标置信度大于预设目标置信度阈值的目标信息输出至目标信息队列，从而目标信息队列中的目标信息的目标置信度较高，提高了目标信息队列的可信程度，减少了后续不必要的分类次数，提高了处理效率。

S103、将所述目标信息队列中的每一目标图像输入至目标人脸分类模型，得到每一目标图像的人脸类型和类型置信度，将人脸类型不为非人脸类型的目标图像和该目标图像的类型置信度存入至所述目标信息队列中该目标图像所属的目标信息，并删除所述目标信息队列中人脸类型为非人脸类型的目标图像所属的目标信息，得到待检测目标队列；将待检测目标队列中的每一目标矩形框作为每一待检测矩形框；

目标人脸分类模型可以为预先训练至收敛的BP(back propagation，反向传播)神经网络、卷积神经网络等具有分类功能的机器学习网络中的一种，AlexNet结构包括8层神经网络，5个卷积层和3个全连接层。AlexNet结构具有较高的分类准确率，本发明的目标人脸分类模型优选为训练至收敛的采用AlexNet结构的卷积神经网络。

人脸类型可以包括正脸类型、左侧脸类型、右侧脸类型、后脑勺类型、低头类型和非人脸类型等类型，类型置信度用于反映分类结果正确的概率，类型置信度越高，分类结果正确的概率越大。

可以预先通过以下方式训练目标人脸分类模型：

预先采集人脸图像数据，分为六类包括正脸、左侧脸、右侧脸、后脑勺、低头和非人脸，对分类后的人脸图像数据进行数据清洗、归一化、中值滤波等预处理后，将预处理后的人脸图像数据作为训练集，用该训练集训练预设初始人脸分类模型，得到训练至收敛的目标人脸分类模型。预设初始人脸分类模型中的各模型参数的值均为各预设初始值。例如，预设初始人脸分类模型的全连接层的输出个数可以设置为1024，输出层可以为6个，可以代表6种类型。预设初始人脸分类模型可以为卷积神经网络，网络结构可以采用AlexNet结构。

待检测目标队列中的目标信息还包括目标图像的人脸类型和类型置信度，且所包含的目标图像的人脸类型均不为非人脸类型，例如可以为正脸类型、左侧脸类型、右侧脸类型、后脑勺类型、低头类型中的一种，故待检测目标队列中的目标图像均为包含人脸的图像。从而在后续检测过程中无需对不包含人脸的图像进行检测，减少了不必要的检测次数，提高了处理效率。

S104、针对每一待检测矩形框，将该待检测矩形框与跟踪目标队列中每一跟踪目标的人脸矩形框进行交并比计算，得到各交并比；根据各交并比判断该待检测矩形框是否为新人脸矩形框；跟踪目标队列用于存储跟踪目标，每一跟踪目标包括根据所述图像帧的上一图像帧所得的人脸信息；

跟踪目标队列可以包括一个或多个跟踪目标，跟踪目标可以包括根据图像帧的上一图像帧所得的人脸信息、已上报标识值、丢失次数等信息。人脸信息包括人脸矩形框、人脸矩形框中的目人脸图像和人脸置信度等信息。每个跟踪目标可以跟踪一个矩形框，跟踪目标所跟踪的矩形框可以在待检测目标队列中，也可以不在待检测目标队列中，若在待检测目标队列中，表明跟踪目标此次跟踪成功，否则，表明跟踪目标此次跟踪不成功。丢失次数用于记录跟踪目标跟踪不成功的次数。

交并比(Intersection-over-Union，IoU)计算可以计算待检测矩形框与跟踪目标的人脸矩形框的交叠率，即它们的交集与并集的比值，最理想情况是完全重叠，即比值为1，可以认为待检测矩形框与跟踪目标的人脸矩形框是同一矩形框，即跟踪目标所跟踪的矩形框为该待检测矩形框。

具体的，根据各交并比判断该待检测矩形框是否为新人脸矩形框，包括：

判断所得的各交并比中是否存在大于预设交并比阈值的交并比；

若存在，判定该待检测矩形框不为新人脸矩形框；若不存在，判定该待检测矩形框为新人脸矩形框。

预设交并比阈值可以根据需求事先设定，例如，可以为0.6、0.7、0.8等等。

若某个跟踪目标的人脸矩形框与某个待检测矩形框之间的交并比大于预设交并比阈值，可以认为该跟踪目标所跟踪的矩形框为该待检测矩形框，即待检测矩形框是跟踪目标一直跟踪的矩形框；若每一跟踪目标的人脸矩形框与某个待检测矩形框之间的交并比均不大于预设交并比阈值，可以认为任一跟踪目标所跟踪的矩形框均不为该待检测矩形框，即待检测矩形框是新出现的矩形框，由于待检测目标队列中的目标图像的类型均不为非人脸类型，故可以认为待检测矩形框中的图像均为包含人脸的图像，可以是正脸图像、左侧脸图像、右侧脸图像、后脑勺图像、低头图像中的一种。

为了提高跟踪成功率，一种实现方式中，在判定该待检测矩形框为新人脸矩形框后，所述方法还包括：

在跟踪目标队列中新建用于跟踪该待检测矩形框的新跟踪目标；设置该新跟踪目标的已上报标识值为空值，并用该待检测矩形框所属的目标信息初始化该新跟踪目标。

在跟踪目标队列中新建新跟踪目标后，跟踪目标队列中包含用于跟踪来自本图像帧的待检测矩形框的跟踪目标，从而在检测该图像帧的下一图像帧时，可以跟踪出该待检测矩形框在下一图像帧中的位置，实现了及时更新跟踪目标队列，提高了跟踪目标队列的跟踪成功率。

并且通过已上报标识值可以标识跟踪目标中的人脸图像是否已被上传，避免的漏传和重复上传，提高了上传效率和可靠性。例如，已上报标识值为空值(如NULL/0等)，标识跟踪目标中的人脸图像未被上传，已上报标识值为非空值(如1/2/3/4等)，标识跟踪目标中的人脸图像未被上传。

用该待检测矩形框所属的目标信息初始化该新跟踪目标，可以为：将该待检测矩形框所属的目标信息作为该新跟踪目标的初始信息，故新跟踪目标可以包括该待检测矩形框、该待检测矩形框中的目标图像和目标置信度等信息。

S105、在判定每一待检测矩形框均不为新人脸矩形框后，针对跟踪目标队列中的每一跟踪目标，判断该跟踪目标是否跟踪成功，若跟踪成功，判断该跟踪目标中的人脸类型是否为正脸类型且类型置信度是否大于预设类型置信度阈值，若人脸类型为正脸类型且类型置信度大于预设类型置信度阈值，则将该跟踪目标所跟踪的待检测矩形框中的目标图像作为输入图像，将该输入图像输入至目标人脸质量判定模型，得到该输入图像的人脸评分值；若该人脸评分值大于预设评分值阈值，确定该输入图像为正脸图像。

本发明对具体判断跟踪目标是否跟踪成功的方式不做限定，例如该方式可以为：若该跟踪目标的人脸矩形框与各待检测矩形框之间的交并比中存在大于预设交并比阈值的交并比，判定该跟踪目标跟踪成功；否则，判定该跟踪目标跟踪不成功。

预设类型置信度阈值可以根据需求事先设定，例如，可以为0.8/0.85/0.9等。

对于每一跟踪成功的跟踪目标，都可以获得该跟踪目标中的人脸图像的人脸类型和类型置信度，若人脸类型为正脸类型且类型置信度大于预设类型置信度阈值，表明该跟踪目标中的人脸图像为正脸图像的概率很高，由于跟踪目标中的人脸图像为由之前图像帧所得的人脸图像，属于历史图像数据，在跟踪目标已跟踪成功的情况下，为了获取实时的人脸图像，可以用该跟踪目标所跟踪的待检测矩形框中的目标图像作为输入图像，从而实现了对实时人脸图像的检测，提高了检测的准确率和可靠性。

跟踪目标所跟踪的待检测矩形框为：与该跟踪目标的人脸矩形框之间的交并比大于预设交并比阈值的待检测矩形框；或者，若与该跟踪目标的人脸矩形框之间的交并比大于预设交并比阈值的待检测矩形框有多个，则选择交并比最大的待检测矩形框作为跟踪目标所跟踪的待检测矩形框。

若输入图像的人脸评分值大于预设评分值阈值，表明输入图像的质量高，且由于输入图像为正脸类型，从而可以确定该输入图像为正脸图像。人脸评分值可以为0-100分中的某一数值，预设评分值阈值可以根据需求事先设定，本发明对预设评分值阈值的具体数值不做限定，例如可以为80分、90分等等。

应用本发明实施例，保证了所确定的正脸图像为高质量正脸图像，提高了正脸图像检测的准确率。

为了及时更新跟踪目标队列中的跟踪目标，一种实现方式中，若该跟踪目标跟踪成功，所述方法还包括：用该跟踪目标所跟踪的待检测矩形框更新该跟踪目标的人脸矩形框；

在确定该输入图像为正脸图像后，所述方法还包括：用该输入图像更新该跟踪目标中的人脸图像。

实现了对跟踪目标中的人脸矩形框和人脸图像的及时更新，适应了目标在不同图像帧中的变化，例如，若跟踪t帧，即在第t帧检测目标的过程中，可以与在t-1帧中所检测到的目标进行比较的，这样目标的变化就会及时得到更新，从而实现了及时更新跟踪目标队列中的跟踪目标。

另外，在确定该输入图像为正脸图像后，所述方法还包括：

上传该输入图像；并将该跟踪目标的已上报标识值设置为非空值。

具体上传方式可以为：将输入图像上传至服务器或其他需要获取高质量正脸图像的终端设备，以使该服务器或终端设备可以应用高质量正脸图像进行人脸识别或身份检测，以提高人脸识别或身份检测的准确率。或者，也可以将输入图像上传至其他具有存储功能的存储服务器，以便其他服务器或终端设备随时从存储服务器获取高质量正脸图像。

应用本发明实施例，实现了对高质量正脸图像的上传。

将该跟踪目标的已上报标识值设置为非空值，从而，在用跟踪目标队列跟踪下一图像帧的待检测目标队列的过程中，可以在上传来自某个跟踪目标的输入图像之前，根据已上报标识值是否为空值，来确定是否上传来自该跟踪目标的输入图像，可以避免重复上传和漏传，提高图像上传的效率和可靠性。

具体的，每一跟踪目标还可以包括已上报标识值，若该跟踪目标跟踪不成功，所述方法还包括：

累加该跟踪目标的丢失次数；判断该跟踪目标累加后的丢失次数是否大于预设丢失阈值；若大于，确定该跟踪目标的已上报标识值是否为空值；在确定不为空值后，删除该跟踪目标；在确定为空值后，上传该跟踪目标中的人脸图像，在上传该人脸图像后，删除该跟踪目标。

每一跟踪目标还可以包括丢失次数，初始丢失次数可以为预设值，例如0,1等等。预设丢失阈值可以根据需求事先设定，例如，可以为5/6/7/8/9/10等等。

跟踪目标每跟踪不成功一次，该跟踪目标的丢失次数可以累加固定步长，固定步长可以预先设置，例如可以为1/2/3/4等等。跟踪目标累加后的丢失次数大于预设丢失阈值，可以表明跟踪目标已跟丢，则可以删除该跟踪目标，为了避免图像丢失，可以在删除该跟踪目标之前，判断该跟踪目标的已上报标识值是否为空值，若不为空值，表明该跟踪目标中的人脸图像已上传，则可以直接删除该跟踪目标；若为空值后，表明该跟踪目标中的人脸图像未上传，则可以先上传该跟踪目标中的人脸图像，在上传该人脸图像后，删除该跟踪目标。

应用本发明实施例，实现了对跟丢的跟踪目标的删除，及时清理了跟踪目标队列中的无效跟踪目标，提高了跟踪目标队列的可靠性，并且对已跟丢的跟踪目标中未被上传的人脸图像进行了上传，避免了人脸图像的丢失。

另外，若该跟踪目标累加后的丢失次数不大于预设丢失阈值，所述方法还包括：用该跟踪目标所跟踪的待检测矩形框更新该跟踪目标的人脸矩形框。

跟踪目标累加后的丢失次数不大于预设丢失阈值，可以表明跟踪目标未跟丢，还可以继续保留该跟踪目标的人脸信息，并且为了对该跟踪目标进行更新，提高跟踪目标实时性和准确度，可以用该跟踪目标所跟踪的待检测矩形框更新该跟踪目标的人脸矩形框，还可以用该跟踪目标所跟踪的待检测矩形框在图像帧中的目标图像更新该跟踪目标中的人脸图像，实现对跟踪目标中人脸矩形框和人脸图像的更新。

又一种实现方式中，若该跟踪目标中的人脸类型不为正脸类型或类型置信度不大于预设类型置信度阈值，也就是，跟踪目标中的人脸类型为左侧脸类型、右侧脸类型、后脑勺类型、低头类型中的一种或类型置信度不大于预设类型置信度阈值，所述方法还包括：用该跟踪目标所跟踪的待检测矩形框中的目标图像更新该跟踪目标中的人脸图像。

应用本发明实施例，若跟踪目标未跟丢，还可以继续保留该跟踪目标的人脸信息，实现了对该跟踪目标进行更新。

具体的，目标人脸质量判定模型可以是预先训练至收敛的具有质量判定功能的机器学习模型，例如可以是神经网络模型。支持向量机模型等等。或者，为了提高目标人脸质量判定模型的准确率，又一种实现方式中，目标人脸质量判定模型可以是通过以下方式预先训练所得的：

针对预设人脸数据集中的每一人脸图像，将该人脸图像分别输入至第一卷积神经网络模型和第二卷积神经网络模型，得到第一卷积神经网络模型输出的该人脸图像的第一特征和第二卷积神经网络模型输出的该人脸图像的第二特征；将该人脸图像的第一特征和该人脸图像的第二特征进行特征融合，得到该人脸图像的目标特征；对该人脸图像的目标特征进行降维，得到该人脸图像的主特征；将该人脸图像的主特征和该人脸图像的人脸评分值合并，得到基于该人脸图像的输入数据；其中，预设人脸数据集包括各人脸图像和各人脸图像的人脸评分值；第一卷积神经网络模型和第二卷积神经网络模型分别为基于CaffeNet结构的卷积神经网络模型和基于无对准人脸属性分类技术的卷积神经网络模型，用所得的基于预设人脸数据集中每一人脸图像的输入数据构成输入数据集；

将输入数据集分为训练数据集和验证数据集；用所述训练数据集和所述验证数据集训练预设初始分类器，得到训练至收敛的目标分类器；

用第一卷积神经网络模型、第二卷积神经网络模型和目标分类器组成目标人脸质量判定模型。

第一卷积神经网络模型可以有3个全连接层，可以用倒数第三个或倒数第二个全连接层输出的第一预设维度的特征向量作为第一特征，第一预设维度可以为4096维、3900维等预先设定的维度。倒数第一个全连接层可以输出模糊图像(含高斯噪声模糊、椒盐噪声模糊和动态模糊等等模糊图像)的模糊级别，可以预先设置为多个级别模糊度，例如8/9/10级，级别越高表明所获得的图像越模糊。通过第一卷积神经网络模型可以提取第一特征，第一特征可以反映出图像模糊度的评定特征。

无对准人脸属性分类技术(Alignment-Free Facial Attribute ClassificationTechnique，AFFACT)，是一种无需对齐的人脸属性分类器技术，它使用了数据增强技术，使得第二卷积神经网络模型在不需要对齐的基础上就可以获得人脸属性特征，并且具有较好的特征提取效果。

第二卷积神经网络模型可以对人脸面部特征进行提取，该模型可以有3个全连接层，可以用倒数第三个或倒数第二个或倒数第一个全连接层输出的第二预设维度的特征向量作为第二特征，第二预设维度可以是2048维、3600维等预先设定的维度。

将该人脸图像的第一特征和该人脸图像的第二特征进行特征融合，可以为：将人脸图像的第一特征和第二特征连接而成的总特征向量作为该人脸图像的目标特征，实现了将图像评定特征和人脸面部特征有机的结合在一起，对人脸图像进行综合评判获取的评分值准确度更高，可以更利于人脸识别或主观观察。

由于特征融合后的目标特征是高维特征，且高维特征中有许多冗余特征值，故，可以对目标特征进行降维，得到主特征。具体的，可以采用PCA(principal componentsanalysis，主成分分析技术)或流形学习(Manifold Learning)技术等降维方式进行降维处理，得到固定维度的主特征。固定维度可以事先设定，例如，可以是2048维、2600维等等。

从而，目标人脸质量判定模型在获得输入图像后，可以将输入图像分别输入至第一卷积神经网络模型、第二卷积神经网络模型，得到第一卷积神经网络模型输出的该输入图像的第一特征和第二卷积神经网络模型输出的该输入图像的第二特征；将该输入图像的第一特征和该输入图像的第二特征进行特征融合，得到该输入图像的目标特征；对该输入图像的目标特征进行降维，得到该人脸图像的主特征；将该输入图像的主特征输入至目标分类器，从而得到目标分类器输出的该输入图像的人脸评分值。

与上述的方法实施例相对应，本发明实施例还提供一种正脸图像检测装置。

参见图2，图2为本发明实施例所提供的一种正脸图像检测装置的结构示意图，装置包括：

目标检测模块201，用于对图像帧进行目标检测，得到目标信息，目标信息包括目标矩形框、目标矩形框中的目标图像和目标置信度；

输出模块202，用于将目标置信度大于预设目标置信度阈值的目标信息输出至目标信息队列；

输入模块203，用于将目标信息队列中的每一目标图像输入至目标人脸分类模型，得到每一目标图像的人脸类型和类型置信度，将人脸类型不为非人脸类型的目标图像和该目标图像的类型置信度存入至目标信息队列中该目标图像所属的目标信息，并删除目标信息队列中人脸类型为非人脸类型的目标图像所属的目标信息，得到待检测目标队列；将待检测目标队列中的每一目标矩形框作为每一待检测矩形框；

计算模块204，用于针对每一待检测矩形框，将该待检测矩形框与跟踪目标队列中每一跟踪目标的人脸矩形框进行交并比计算，得到各交并比；根据各交并比判断该待检测矩形框是否为新人脸矩形框；跟踪目标队列用于存储跟踪目标，每一跟踪目标包括根据图像帧的上一图像帧所得的人脸信息；

确定模块205，用于在判定每一待检测矩形框均不为新人脸矩形框后，针对跟踪目标队列中的每一跟踪目标，判断该跟踪目标是否跟踪成功，若跟踪成功，判断该跟踪目标中的人脸类型是否为正脸类型且类型置信度是否大于预设类型置信度阈值，若人脸类型为正脸类型且类型置信度大于预设类型置信度阈值，则将该跟踪目标所跟踪的待检测矩形框中的目标图像作为输入图像，将该输入图像输入至目标人脸质量判定模型，得到该输入图像的人脸评分值；若该人脸评分值大于预设评分值阈值，确定该输入图像为正脸图像。

应用本发明实施例，每一跟踪目标包括根据图像帧的上一图像帧所得的人脸信息，使得跟踪目标的实时性和可靠性更高，在判定跟踪目标跟踪成功、跟踪目标中的人脸类型为正脸类型且类型置信度大于预设类型置信度阈值后，再将该跟踪目标所跟踪的待检测矩形框中的目标图像作为输入图像，将该输入图像输入至目标人脸质量判定模型，得到该输入图像的人脸评分值；若该人脸评分值大于预设评分值阈值，确定该输入图像为正脸图像。保证了所确定的正脸图像为高质量正脸图像，提高了正脸图像检测的准确率。

可选的，装置还包括第一更新模块，用于：

若该跟踪目标跟踪成功，用该跟踪目标所跟踪的待检测矩形框更新该跟踪目标的人脸矩形框；

在确定该输入图像为正脸图像后，用该输入图像更新该跟踪目标中的人脸图像。

可选的，装置还包括：

初始化模块，用于在判定该待检测矩形框为新人脸矩形框后，在跟踪目标队列中新建用于跟踪该待检测矩形框的新跟踪目标；设置该新跟踪目标的已上报标识值为空值，并用该待检测矩形框所属的目标信息初始化该新跟踪目标。

可选的，装置还包括：

上传模块，用于在确定该输入图像为正脸图像后，上传该输入图像；并将该跟踪目标的已上报标识值设置为非空值。

可选的，跟踪目标还包括已上报标识值，装置还包括：

累加模块，用于若该跟踪目标跟踪不成功，累加该跟踪目标的丢失次数；判断该跟踪目标累加后的丢失次数是否大于预设丢失阈值；若大于，确定该跟踪目标的已上报标识值是否为空值；在确定不为空值后，删除该跟踪目标；在确定为空值后，上传该跟踪目标中的人脸图像，在上传该人脸图像后，删除该跟踪目标。

可选的，装置还包括第二更新模块，用于：

若该跟踪目标累加后的丢失次数不大于预设丢失阈值，用该跟踪目标所跟踪的待检测矩形框更新该跟踪目标的人脸矩形框。

可选的，装置还包括第三更新模块，用于：

若该跟踪目标中的人脸类型不为正脸类型或类型置信度不大于预设类型置信度阈值，用该跟踪目标所跟踪的待检测矩形框中的目标图像更新该跟踪目标中的人脸图像。

可选的，计算模块204根据各交并比判断该待检测矩形框是否为新人脸矩形框，具体为：

判断所得的各交并比中是否存在大于预设交并比阈值的交并比；

若存在，判定该待检测矩形框不为新人脸矩形框；若不存在，判定该待检测矩形框为新人脸矩形框。

可选的，装置还包括训练模块，用于通过以下方式预先训练得到目标人脸质量判定模型：

针对预设人脸数据集中的每一人脸图像，将该人脸图像分别输入至第一卷积神经网络模型和第二卷积神经网络模型，得到第一卷积神经网络模型输出的该人脸图像的第一特征和第二卷积神经网络模型输出的该人脸图像的第二特征；将该人脸图像的第一特征和该人脸图像的第二特征进行特征融合，得到该人脸图像的目标特征；对该人脸图像的目标特征进行降维，得到该人脸图像的主特征；将该人脸图像的主特征和该人脸图像的人脸评分值合并，得到基于该人脸图像的输入数据；其中，预设人脸数据集包括各人脸图像和各人脸图像的人脸评分值；第一卷积神经网络模型和第二卷积神经网络模型分别为基于CaffeNet结构的卷积神经网络模型和基于无对准人脸属性分类技术的卷积神经网络模型；

用所得的基于预设人脸数据集中每一人脸图像的输入数据构成输入数据集；

将输入数据集分为训练数据集和验证数据集；用训练数据集和验证数据集训练预设初始分类器，得到训练至收敛的目标分类器；

用第一卷积神经网络模型、第二卷积神经网络模型和目标分类器组成目标人脸质量判定模型。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种正脸图像检测方法，其特征在于，所述方法包括：

对图像帧进行目标检测，得到目标信息，所述目标信息包括目标矩形框、目标矩形框中的目标图像和目标置信度；

将目标置信度大于预设目标置信度阈值的目标信息输出至目标信息队列；

将所述目标信息队列中的每一目标图像输入至目标人脸分类模型，得到每一目标图像的人脸类型和类型置信度，将人脸类型不为非人脸类型的目标图像和该目标图像的类型置信度存入至所述目标信息队列中该目标图像所属的目标信息，并删除所述目标信息队列中人脸类型为非人脸类型的目标图像所属的目标信息，得到待检测目标队列；将所述待检测目标队列中的每一目标矩形框作为每一待检测矩形框；

针对每一待检测矩形框，将该待检测矩形框与跟踪目标队列中每一跟踪目标的人脸矩形框进行交并比计算，得到各交并比；根据各交并比判断该待检测矩形框是否为新人脸矩形框；所述跟踪目标队列用于存储跟踪目标，每一跟踪目标包括根据所述图像帧的上一图像帧所得的人脸信息；

在判定每一待检测矩形框均不为新人脸矩形框后，针对跟踪目标队列中的每一跟踪目标，判断该跟踪目标是否跟踪成功，若跟踪成功，判断该跟踪目标中的人脸类型是否为正脸类型且类型置信度是否大于预设类型置信度阈值，若人脸类型为正脸类型且类型置信度大于预设类型置信度阈值，则将该跟踪目标所跟踪的待检测矩形框中的目标图像作为输入图像，将该输入图像输入至目标人脸质量判定模型，得到该输入图像的人脸评分值；若该人脸评分值大于预设评分值阈值，确定该输入图像为正脸图像，所述目标人脸质量判定模型通过以下方式预先训练所得：

针对预设人脸数据集中的每一人脸图像，将该人脸图像分别输入至第一卷积神经网络模型和第二卷积神经网络模型，得到第一卷积神经网络模型输出的该人脸图像的第一特征和第二卷积神经网络模型输出的该人脸图像的第二特征；将该人脸图像的第一特征和该人脸图像的第二特征进行特征融合，得到该人脸图像的目标特征；对该人脸图像的目标特征进行降维，得到该人脸图像的主特征；将该人脸图像的主特征和该人脸图像的人脸评分值合并，得到基于该人脸图像的输入数据；其中，预设人脸数据集包括各人脸图像和各人脸图像的人脸评分值；第一卷积神经网络模型和第二卷积神经网络模型分别为基于CaffeNet结构的卷积神经网络模型和基于无对准人脸属性分类技术的卷积神经网络模型；

用所得的基于预设人脸数据集中每一人脸图像的输入数据构成输入数据集；

将输入数据集分为训练数据集和验证数据集；用所述训练数据集和所述验证数据集训练预设初始分类器，得到训练至收敛的目标分类器；

用第一卷积神经网络模型、第二卷积神经网络模型和目标分类器组成目标人脸质量判定模型。

2.根据权利要求1所述的方法，其特征在于，若该跟踪目标跟踪成功，所述方法还包括：

用该跟踪目标所跟踪的待检测矩形框更新该跟踪目标的人脸矩形框；

在确定该输入图像为正脸图像后，所述方法还包括：

用该输入图像更新该跟踪目标中的人脸图像。

3.根据权利要求1所述的方法，其特征在于，在判定该待检测矩形框为新人脸矩形框后，所述方法还包括：

在跟踪目标队列中新建用于跟踪该待检测矩形框的新跟踪目标；设置该新跟踪目标的已上报标识值为空值，并用该待检测矩形框所属的目标信息初始化该新跟踪目标。

4.根据权利要求3所述的方法，其特征在于，在确定该输入图像为正脸图像后，所述方法还包括：

上传该输入图像；并将该跟踪目标的已上报标识值设置为非空值。

5.根据权利要求1所述的方法，其特征在于，跟踪目标还包括已上报标识值，若该跟踪目标跟踪不成功，所述方法还包括：

累加该跟踪目标的丢失次数；判断该跟踪目标累加后的丢失次数是否大于预设丢失阈值；若大于，确定该跟踪目标的已上报标识值是否为空值；在确定不为空值后，删除该跟踪目标；在确定为空值后，上传该跟踪目标中的人脸图像，在上传该人脸图像后，删除该跟踪目标。

6.根据权利要求5所述的方法，其特征在于，若该跟踪目标累加后的丢失次数不大于预设丢失阈值，所述方法还包括：

用该跟踪目标所跟踪的待检测矩形框更新该跟踪目标的人脸矩形框。

7.根据权利要求1所述的方法，其特征在于，若该跟踪目标中的人脸类型不为正脸类型或类型置信度不大于预设类型置信度阈值，所述方法还包括：

用该跟踪目标所跟踪的待检测矩形框中的目标图像更新该跟踪目标中的人脸图像。

8.根据权利要求1所述的方法，其特征在于，根据各交并比判断该待检测矩形框是否为新人脸矩形框，包括：

判断所得的各交并比中是否存在大于预设交并比阈值的交并比；

若存在，判定该待检测矩形框不为新人脸矩形框；

若不存在，判定该待检测矩形框为新人脸矩形框。

9.一种正脸图像检测装置，其特征在于，所述装置包括：

目标检测模块，用于对图像帧进行目标检测，得到目标信息，所述目标信息包括目标矩形框、目标矩形框中的目标图像和目标置信度；

输出模块，用于将目标置信度大于预设目标置信度阈值的目标信息输出至目标信息队列；

输入模块，用于将所述目标信息队列中的每一目标图像输入至目标人脸分类模型，得到每一目标图像的人脸类型和类型置信度，将人脸类型不为非人脸类型的目标图像和该目标图像的类型置信度存入至所述目标信息队列中该目标图像所属的目标信息，并删除所述目标信息队列中人脸类型为非人脸类型的目标图像所属的目标信息，得到待检测目标队列；将所述待检测目标队列中的每一目标矩形框作为每一待检测矩形框；

计算模块，用于针对每一待检测矩形框，将该待检测矩形框与跟踪目标队列中每一跟踪目标的人脸矩形框进行交并比计算，得到各交并比；根据各交并比判断该待检测矩形框是否为新人脸矩形框；所述跟踪目标队列用于存储跟踪目标，每一跟踪目标包括根据所述图像帧的上一图像帧所得的人脸信息；

确定模块，用于在判定每一待检测矩形框均不为新人脸矩形框后，针对跟踪目标队列中的每一跟踪目标，判断该跟踪目标是否跟踪成功，若跟踪成功，判断该跟踪目标中的人脸类型是否为正脸类型且类型置信度是否大于预设类型置信度阈值，若人脸类型为正脸类型且类型置信度大于预设类型置信度阈值，则将该跟踪目标所跟踪的待检测矩形框中的目标图像作为输入图像，将该输入图像输入至目标人脸质量判定模型，得到该输入图像的人脸评分值；若该人脸评分值大于预设评分值阈值，确定该输入图像为正脸图像，所述目标人脸质量判定模型通过以下方式预先训练所得：

针对预设人脸数据集中的每一人脸图像，将该人脸图像分别输入至第一卷积神经网络模型和第二卷积神经网络模型，得到第一卷积神经网络模型输出的该人脸图像的第一特征和第二卷积神经网络模型输出的该人脸图像的第二特征；将该人脸图像的第一特征和该人脸图像的第二特征进行特征融合，得到该人脸图像的目标特征；对该人脸图像的目标特征进行降维，得到该人脸图像的主特征；将该人脸图像的主特征和该人脸图像的人脸评分值合并，得到基于该人脸图像的输入数据；其中，预设人脸数据集包括各人脸图像和各人脸图像的人脸评分值；第一卷积神经网络模型和第二卷积神经网络模型分别为基于CaffeNet结构的卷积神经网络模型和基于无对准人脸属性分类技术的卷积神经网络模型；

用所得的基于预设人脸数据集中每一人脸图像的输入数据构成输入数据集；

将输入数据集分为训练数据集和验证数据集；用所述训练数据集和所述验证数据集训练预设初始分类器，得到训练至收敛的目标分类器；

用第一卷积神经网络模型、第二卷积神经网络模型和目标分类器组成目标人脸质量判定模型。

Images