CN112613579A - 一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法 - Google Patents

Abstract

本发明公开了一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法，该训练方法包括收集训练集；进行机器预标注，使用大模型对数据进行人脸质量标签的分级标注：设计人脸主次任务反向分离模型和损失函数，并对模型进行训练，人脸主次任务反向分离模型，包括主任务和次任务，在模型训练的反向传播过程中，主任务的损失可以反向传播到最低层，而次任务的损失只传播到自身的网络层，在模型训练前向传播的时候，次任务直接使用主任务的中间层特征作为输入；在该模型中，主任务用于人脸检测、人脸关键点检测和人脸质量分级，次任务用于人头姿态估计。实现了提高整个流程人脸识别准确度，减少识别次数，节省计算资源的目的。

Description

一种人脸或人头图像质量的模型训练方法、评估方法及高质 量图像的选取方法

技术领域

本发明涉及质量评估和深度学习领域，具体涉及一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法。

背景技术

目前，在智能安全、智能门禁、人脸支付、智能考勤、智慧监狱、智能抓捕等领域，人脸识别技术得到广泛的应用，在众多的人脸识别场景下，获取质量较好的人脸图片作为人脸识别的输入是一项重要的技术，在保证摄像头下经过的人员无遗漏的情况下，同时减少人脸识别的次数，节省计算资源。人脸识别的效果不仅受人脸识别部分算法的影响，也受前序的算法的影响。在前序算法中，人脸质量评估，人脸校正和人脸选取对于人脸识别准确率、查全率有着较大的影响。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：目前通过人脸检测，人脸跟踪，人脸质量评估，人脸识别的方式来进行人员的识别。在人脸质量评估部分以人脸的图像为基准，很少有以人头图像作为输入的情况；人脸质量评估部分又分为多个模块，人脸或人头姿态估计模块，人脸图像清晰度模块，人脸面部对称性模块，照明质量模块，分辨率模块。在人脸校正部分，又分为光照校正，和人脸关键点校正。当前的人脸质量评估策略需要多个模块，且无法为下一步的人脸关键点校正提供人脸关键点信息。而在人脸关键点校正部分，仅对人脸图片有好的人脸关键点预测结果，而对于人头图片作为输入的情况，无法准确的预测人脸关键点位置，进而无法获得校正后的人脸，进而影响最终的人脸识别效果。

在当前的人脸识别算法的整体流程中，选择高质量的人脸也是一项关键的技术。现有的技术手段，使用多个模块，诸如人脸姿态估计模块，人脸模糊度模块等，从多个维度各自评价人脸质量，而且得出的人脸质量分数也是一个相对概念。现有的技术没有一个有机的细化结合方式，将多个维度的人脸质量分数统一到一个维度中。在实际应用中，这种粗糙的评分方式，会对算法的最终识别效果产生不利影响，同时影响计算资源的使用效率。在人脸选取策略中，一般直接去选择评分最高的人脸去做人脸识别，在实际应用场景中，当中会引发一些问题，导致没有挑选到最有利于人脸识别的人脸，如果设计细化的选取策略有利于提高整体流程的人脸识别率。

发明内容

为了克服现有技术的不足，本公开实施例提供了一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法，可以提高整个流程人脸识别准确度，减少识别次数，节省计算资源。技术方案如下：

第一方面，提供了一种人脸或人头图像质量的模型训练方法，该方法包括如下步骤：

步骤1，收集应用场景或现有数据库的人脸图片、人头图片、非人脸和人头图片，和/或上半身图片为训练集；

使用人脸检测，关键点检测，人头姿态估计的大模型进行机器预标注，获得人脸检测框预标注信息，人脸关键点预标注信息，人头姿态估计预标注信息，人脸属性预标注信息；

使用大模型对数据进行人脸质量标签的分级标注，再通过人工修正的方式审核，分类数据：

人脸质量分级标签为(a,b,c)标签分别为，标签c为区分人脸和其他,人脸图片标注c＝1,其他图片标注c＝0；b标签区分疑似可被识别的人脸和其他,疑似可被识别的人脸标注b＝1,其他图片标注b＝0；a标签用于区分高质量的人脸和其他，高质量的人脸标注a＝1,其他图片标注a＝0；

步骤2，设计人脸主次任务反向分离模型和损失函数，并对模型进行训练

人脸主次任务反向分离模型，包括主任务和次任务；

在模型训练的反向传播过程中，主任务的损失可以反向传播到最低层，而次任务的损失只传播到自身的网络层，在模型训练前向传播的时候，次任务直接使用主任务的中间层特征作为输入；

训练过程中，次任务以中间层特征作为输入时，主任务的损失可以反向传播影响中间层特征，次任务再根据中间层特征的变化，产生新的损失，进而调整自身的网络参数；

在该模型中，主任务用于人脸检测、人脸关键点检测和人脸质量分级，次任务用于人头姿态估计。

优选的，步骤1具体为：使用检测算法，跟踪算法收集应用场景的人脸或人头图片，并收集场景下其他的非人头人脸图片；收集含有人头姿态估计标注，人脸关键点标注，人脸属性标注的人脸图片，和/或上半身图片。

优选的，所述人脸检测框标注信息为(X1,Y1,X2,Y2)，(X1,Y1)、(X2,Y2)为人脸检测框左上角坐标和右下角坐标；所述人脸关键点预标注信息为(x1,y1,x2,y2,x3,y3,x4,y4,x5,y5)，即仅标注5个关键点，分别为左眼，右眼，鼻子，嘴巴左角，嘴巴右角的坐标；所述人头姿态估计预标注信息为(pitch,yaw,roll)，其中pitch,yaw,roll分别为欧拉角中的俯仰角，偏航角，滚动角。

优选的，步骤1还包括对于行人上半身图片进行处理：使用四向随机数据增广方式，获得增广的人脸，人头的图片；四向随机数据增广具体为：首先获取人脸检测框的位置，在上下两个方向上，随机扩充人脸检测框的高的0到0.2倍，或在左右两个方向上，随机扩充人脸检测框的宽的0到0.2倍；将检测框扩充后的区域裁剪下来作为增广的数据集图片，同时修改对应的人脸标注框，人脸关键点检测预标注信息。

进一步的，步骤1还包括对人脸检测框预标注信息，人脸关键点预标注信息，人头姿态估计预标注信息做人工审核，对于错误的人脸检测框预标注信息和人脸关键点预标注信息进行人工修正，对于与实际情形差距较大的人头姿态估计预标注的数据直接删除。

优选的，所述高质量的人脸为：人头姿态的俯仰角和偏航角不超过30度，而且人脸清晰，人脸尺寸大于60*60像素的人脸；所述疑似可被识别的人脸为：人头姿态的俯仰角和偏转角不超过60度，而且非严重遮挡，非严重模糊的图片；人脸为：人头姿态的俯仰角和偏转角不超过90度，可以看到鼻子，嘴巴，或眼睛其中一个或多个的图片；非人脸图片为：各种非人脸数据包含后脑勺，人体其他部位，场景中的其他物体。

优选的，在损失函数的选择上，人脸质量分级选用的损失为二元交叉熵损失，人脸关键点采用的是均方差损失，人脸检测损失使用的是IOU loss，人头姿态估计损失使用的是均方差损失；在训练过程中使用不同的权重系数进行组合，从而达成多个任务的学习。

第二方面，提供了一种人脸或人头图像质量的评估方法，该方法包括

根据所有可能的实现方式中任一项所述的一种人脸或人头图像质量的模型训练方法训练好的人脸主次任务反向传播分离模型，在模型导出阶段，将主次任务模型进行拼接；

在模型推理时，只用到模型的前向传播部分，该模型可同时输出人脸检测、人脸关键点检测、人脸质量分级标签、人头姿态估计的结果，综合人脸检测、人脸关键点检测、人脸质量分级标签、人头姿态估计对人脸质量进行评估，进而得到人脸质量的综合得分。

优选的，所述综合人脸检测、人脸关键点检测、人脸质量分级标签、人头姿态估计对人脸质量进行评估，得到人脸质量的综合得分，具体为：

首先记录输入的图片的宽度为w，高度为h,对输入的图片做模型推理，获得主次任务反向传播可分离模型的输出，其中人脸标签为(a,b,c)，人脸关键点为(x1,y1,x2,y2,x3,y3,x4,y4,x5,y5)，人脸角度(pitch,yaw,roll)

算法的参数设定有：

分数阈值:0.5

尺寸范围:(min_size,max_size)

角度阈值:(thresh_pitch,thresh_yaw)

直接筛除的策略：

如果h,w的较小值小于min_size或者abs(pitch)>thresh_pitch或者abs(yaw)>thresh_yaw,那么最终的人脸质量得分score＝0

优选的，分级策略如下：

等级1：c<0.5或者min(h,w)<min_

等级2：c>0.5且b<0.5

等级3：c>0.5且b>0.5且a<0.5

等级4：c>0.5且b>0.5且a>0.5

优选的，多维评分策略如下：

尺寸得分：box_score＝min(min(h,w)/max_width,1.0)

俯仰角得分：pitch_score＝(thresh_pitch-abs(pitch)/thresh_pitch

偏航角得分：yaw_score＝(thresh_yaw-abs(pitch))/thresh_yaw

优选的，分级多维统一策略如下：

等级1,2,3,4对应的权重level_weight分别为0,1,10,100

等级1,2,3,4对应的分数level_score分别为0，c,b,a

最终的得分为：score＝(level_score+box_score+pitch_score+yaw_score)*level_weight

所以等级1的得分为0，等级2得分范围为(0.5,4)，等级3得分范围为(5,40)，等级4得分范围为(50,400)，从最终的人脸质量评估分数得出人脸质量的等级。

第三方面，提供了一种人脸或人头高质量图像的选取方法，该方法包括：

根据所有可能的实现方式中任一项所述的一种人脸或人头图像质量的评估方法得到的人脸质量评分，从同一人的人脸轨迹或人头轨迹中选取最有利于识别的人脸图像，轨迹中的每一张图片都对应了一个分值，对轨迹中人脸分数生成质量分数的曲线，选取该曲线的所有极大值点的人脸图片，并去掉小于阈值的极大值，将这些极大值作为选取的人脸，由其5个关键点和标准人脸计算仿射矩阵，将人脸图片进行仿射变换，得出校正后的人脸，输入后续人脸识别模型，进行人脸识别；

首先对该轨迹中人脸分数生成质量分数的曲线，然后通过阈值50进行分段，50为定义的高质量人脸的界限；然后在每一段里选择质量得分最大值，若质量得分小于5，5为疑似可识别人脸的阈值，则舍去该最大值；将这些最大值作为选取的人脸，由其5个关键点和标准人脸计算仿射矩阵，将人脸图片进行仿射变换，得出校正后的人脸，输入后续人脸识别模型，进行人脸识别。

与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：该模型结合了人脸质量评估和人脸关键点预测，利于校正人脸；本算法针对人头输入的情形，设计了训练数据增强方式，针对性的解决了轻量型人脸关键点算法无法从人头图片得到准确关键点的问题；模型采用多标签，多任务学习的方式，可以扩展其他的人脸属性信息；人脸分级多维统一评分策略，利于挑选质量好的人脸，筛除质量差的人脸；分段极值人脸选取策略，考虑具体的应用需求，设备计算能力和时间维度，有利于提高算法的效果，更有效的利用计算资源。同时仅使用一个模型完成人脸质量的评估，以利于挑选用于人脸识别的高质量人脸，保证查全率的情形下，减少识别次数。并具有如下优点：

1、对于人脸图片输入和人头图片输入，都有较好的人脸关键点预测效果，有利于后续的人脸关键点校正。

2.一个模型可以同时输出人脸检测，人脸关键点检测，人脸质量分级标签，人头姿态估计的结果，节省了计算资源，有利于人脸质量评估，同时这种多任务学习的方式具有可扩展性，可以扩展其他诸如情绪，带口罩，带眼镜等其他人脸属性。

3.人脸质量分级标签采用非割裂式分类，允许存在包含关系标注方式，提高了模型的容错率，有利于模型的训练。

4.主任务loss反向传播到模型特征提取网络部分，次任务loss不反向传播到模型特征提取网络，节省了计算资源，在模型训练过程中有利于多任务的学习和模型的拟合。而且模型推理时也可以实现端到端的输出，不需要分为两个阶段，有利于提高速度。

5.人脸质量分级结合人脸角度评估，和分辨率评估的分级多维人脸评分方式。从一个模型的多维输出结果的组合，统一到一个维度中，得到绝对的分级的分数划分，便于质量评分阈值的选择。设定不同的阈值，达成分级效果，对于不同的场景，需求，可以设定不同的阈值。

6.结合轨迹中基于分段极值的人脸选取方式，有利于减少不必要的人脸识别过程，节约计算资源，同时挑选出质量好的多个人脸有利于提高整个流程的人脸识别准确率和查全率。

附图说明

图1为本公开实施例第一部分提供的一种人脸主次任务反向传播分离模型示意图。

图2为本公开实施例第三部分提供的一种人脸分级分段极值人脸选取策略图。

具体实施方式

为了阐明本发明的技术方案和工作原理，下面将结合附图对本公开实施方式做进一步的详细描述。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请的说明书和权利要求书及上述附图中的术语“步骤1”、“步骤2”等类似描述是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里描述的那些以外的顺序实施。

第一部分，提供了一种人脸或人头图像质量的模型训练方法，该方法包括如下步骤：

步骤1，收集应用场景或现有数据库的人脸图片、人头图片、非人脸和人头图片，和/或上半身图片为训练集；

优选的，步骤1具体为：使用检测算法，跟踪算法收集应用场景的人脸或人头图片，并收集场景下其他的非人头人脸图片；收集含有人头姿态估计标注，人脸关键点标注，人脸属性(情绪状态、是否带眼镜)标注的人脸图片，和/或上半身图片。

使用人脸检测，关键点检测，人头姿态估计的大模型进行机器预标注，获得人脸检测框预标注信息，人脸关键点预标注信息，人头姿态估计预标注信息，人脸属性预标注信息。对于开源数据中已存在的标注信息使用原标注信息作为预标注信息。

进一步的，所述人脸检测框标注信息为(X1,Y1,X2,Y2)，(X1,Y1)、(X2,Y2)为人脸检测框左上角坐标和右下角坐标；所述人脸关键点预标注信息为(x1,y1,x2,y2,x3,y3,x4,y4,x5,y5)，即仅标注5个关键点，分别为左眼，右眼，鼻子，嘴巴左角，嘴巴右角的坐标；所述人头姿态估计预标注信息为(pitch,yaw,roll)，其中pitch,yaw,roll分别为欧拉角中的俯仰角，偏航角，滚动角。

优选的，步骤1还包括对于行人上半身图片，使用四向随机数据增广方式，获得增广的人脸，人头的图片，模拟实际轻量型人头模型的检测结果，解决了实际应用场景中，轻量型人脸关键点检测模型只对人脸作为输入有效果而对人头图片为输入没有效果的问题。四向随机数据增广具体为：首先获取人脸检测框的位置，在上下两个方向上，随机扩充人脸检测框的高的0到0.2倍，或在左右两个方向上，随机扩充人脸检测框的宽的0到0.2倍；将检测框扩充后的区域裁剪下来作为增广的数据集图片，同时修改对应的人脸标注框，人脸关键点检测预标注信息。

四向随机增广方式，从人脸标注框，模拟实际轻量型人头模型的检测结果；解决轻量型关键点检测模型只对人脸输入有较好效果，而对人头输入没有较好效果的问题。

将所有的图片，进行尺度变换到112*112的图片。

进一步的，对人脸检测框预标注信息，人脸关键点预标注信息，人头姿态估计预标注信息做人工审核，对于错误的人脸检测框预标注信息和人脸关键点预标注信息进行人工修正，对于与实际情形差距较大的人头姿态估计预标注的数据直接删除。

使用大模型对数据进行人脸质量标签的分级标注，再通过人工修正的方式审核，分类数据：

人脸质量分级标签为(a,b,c)标签分别为，标签c为区分人脸和其他,人脸图片标注c＝1,其他图片标注c＝0；b标签区分疑似可被识别的人脸和其他,疑似可被识别的人脸标注b＝1,其他图片标注b＝0；a标签用于区分高质量的人脸和其他，高质量的人脸标注a＝1,其他图片标注a＝0；其中，人脸包含疑似可被识别的人脸和高质量的人脸，疑似可被识别的人脸包含高质量的人脸。优选的，所述高质量的人脸为：人头姿态的俯仰角和偏航角不超过30度，而且人脸清晰，人脸尺寸大于60*60像素的人脸；所述疑似可被识别的人脸为：人头姿态的俯仰角和偏转角不超过60度，而且非严重遮挡，非严重模糊的图片；人脸为：人头姿态的俯仰角和偏转角不超过90度，可以看到鼻子，嘴巴，或眼睛其中一个或多个的图片；非人脸图片为：各种非人脸数据包含后脑勺，人体其他部位，场景中的其他物体。这种定义获得的分级标签数据，对于边界情形的图片存在人工主观影响标注的情况，但是因为图片分为多个标签的原因，且标签存在包含关系，非分类式的直接割裂，有利于模型的拟合，对于后续从同一人的轨迹中挑选相对较好的一批人脸也影响较小。

步骤2，设计人脸主次任务反向分离模型和损失函数，并对模型进行训练如图1所示，人脸主次任务反向分离模型如图所示，

人脸主次任务反向分离模型，包括主任务和次任务，

在模型训练的反向传播过程中，主任务的损失可以反向传播到最低层，进而影响低层网络参数的更新，而次任务的损失只传播到自身的网络层，不会影响低层特征提取网络参数的更新。在模型训练前向传播的时候，次任务直接使用主任务的中间层特征作为输入。

训练过程中，次任务以中间层特征作为输入时，主任务的损失可以反向传播影响中间层特征，次任务再根据中间层特征的变化，产生新的损失，进而调整自身的网络参数。

主任务损失反向传播到模型特征提取网络部分，次任务loss不反向传播到模型特征提取网络，节省了计算资源。允许次任务的效果有一定的误差，从而使得主任务提高主任务的损失，在模型训练过程中有利于多任务的学习和模型的拟合。这种主次任务分离模型，对速度要求较高而导致模型参数量较少的轻量型网络有更为明显的提升效果，完成了对计算资源的有效利用，同时提高计算速度和精度。

在该模型中，主任务用于人脸检测、人脸关键点检测和人脸质量分级，对结果影响较大的为主任务，前两者(人脸检测、人脸关键点检测)对于后续的人脸关键点校正影响很大，后者(人脸质量分级)对于人脸质量评估的影响最大。

次任务用于人头姿态估计，人头姿态估计对人脸质量评估有影响，次任务允许微小的误差，其他人脸属性不影响后续人脸识别。

优选的，次任务还包括对其他人脸属性的检测。

优选的，在损失函数的选择上，人脸质量分级选用的损失为二元交叉熵损失，人脸关键点采用的是均方差损失，人脸检测损失使用的是IoU loss，人头姿态估计损失使用的是均方差损失；在训练过程中使用不同的权重系数进行组合，从而达成多个任务的学习。

第二部分，提供了一种人脸或人头图像质量的评估方法，该方法包括

根据所有可能的实现方式中任一项所述的一种人脸或人头图像质量的模型训练方法训练好的人脸主次任务反向传播分离模型，在模型导出阶段，将主次任务模型进行拼接；

在模型推理时，只用到模型的前向传播部分，该模型可同时输出人脸检测、人脸关键点检测、人脸质量分级标签、人头姿态估计的结果，综合人脸检测、人脸关键点检测、人脸质量分级标签、人头姿态估计对人脸质量进行评估，进而得到人脸质量的综合得分。进而为后续的人脸选取提供依据。

这种主次任务反向传播分离模型同样是一阶段端到端的模型。不会造成模型的割裂而影响模型推理速度。与传统的质量评估需要多个模型不同，该模型可以同时输出人脸检测，人脸关键点检测，人脸质量分级标签，人头姿态估计的结果，节省了计算资源，有利于人脸质量评估，同时这种多任务学习的方式具有可扩展性，可以扩展其他诸如情绪，带口罩，带眼镜等其他人脸属性。

优选的，所述综合人脸检测、人脸关键点检测、人脸质量分级标签、人头姿态估计对人脸质量进行评估，得到人脸质量的综合得分，具体为：

首先记录输入的图片的宽度为w，高度为h,对输入的图片做模型推理，获得主次任务反向传播可分离模型的输出，其中人脸标签为(a,b,c)，人脸关键点为(x1,y1,x2,y2,x3,y3,x4,y4,x5,y5)，人脸角度(pitch,yaw,roll)

算法的参数设定有：

分数阈值:0.5

尺寸范围:(min_size,max_size)

角度阈值:(thresh_pitch,thresh_yaw)

直接筛除的策略：

如果h,w的较小值小于min_size或者abs(pitch)>thresh_pitch或者abs(yaw)>thresh_yaw,那么最终的人脸质量得分score＝0

优选的，分级策略如下：

等级1：c<0.5或者min(h,w)<min_

等级2：c>0.5且b<0.5

等级3：c>0.5且b>0.5且a<0.5

等级4：c>0.5且b>0.5且a>0.5

优选的，多维评分策略如下：

尺寸得分：box_score＝min(min(h,w)/max_width,1.0)

俯仰角得分：pitch_score＝(thresh_pitch-abs(pitch)/thresh_pitch

偏航角得分：yaw_score＝(thresh_yaw-abs(pitch))/thresh_yaw

优选的，分级多维统一策略如下：

等级1,2,3,4对应的权重level_weight分别为0,1,10,100

等级1,2,3,4对应的分数level_score分别为0，c,b,a

最终的得分为：score＝(level_score+box_score+pitch_score+yaw_score)*level_weight

所以等级1的得分为0，等级2得分范围为(0.5,4)，等级3得分范围为(5,40)，等级4得分范围为(50,400)，从最终的人脸质量评估分数得出人脸质量的等级。

人脸质量评分策略的目的在于通过人脸的姿态估计，尺寸，清晰度等多个维度对人脸质量的好坏有一个分数输出，人脸质量分级结合人脸角度评估，和分辨率评估的分级多维人脸评分方式。从一个模型的多维输出结果的组合，统一到一个维度中，得到绝对的分级的分数划分，便于质量评分阈值的选择。

第三部分，提供了一种人脸或人头高质量图像的选取方法，该方法包括：

根据所有可能的实现方式中任一项所述的一种人脸或人头图像质量的评估方法得到的人脸质量评分，从同一人的人脸轨迹或人头轨迹中选取最有利于识别的人脸图像，轨迹中的每一张图片都对应了一个分值，对轨迹中人脸分数生成质量分数的曲线，选取该曲线的所有极大值点的人脸图片，并去掉小于阈值的极大值，将这些极大值作为选取的人脸，由其5个关键点和标准人脸计算仿射矩阵，将人脸图片进行仿射变换，得出校正后的人脸，输入后续人脸识别模型，进行人脸识别。

如图2所示，首先对该轨迹中人脸分数生成质量分数的曲线，然后通过阈值50进行分段，50为定义的高质量人脸的界限；然后在每一段里选择质量得分最大值，若质量得分小于5，5为疑似可识别人脸的阈值，则舍去该最大值；将这些最大值作为选取的人脸，由其5个关键点和标准人脸计算仿射矩阵，将人脸图片进行仿射变换，得出校正后的人脸，输入后续人脸识别模型，进行人脸识别。

从同一人的人脸轨迹或人头轨迹中选取最有利于识别的人脸。经过上一步人脸质量评分，轨迹中的每一张图片都对应了一个分值。

这种分级分段的极值选取策略，可以选出多个不相同的高质量人脸。因为人头的转动，与摄像头距离的变化，以及光照等变化，会出现人脸质量阶段性出现较好人脸，而这些阶段性的较好人脸在人脸质量得分曲线上的表现为一个个波峰。相比于一段轨迹只挑选得分最高的一张或多张人脸图片，分级分段的极值选取策略有利于后续的人脸识别。对于由于轨迹相串导致同一个轨迹中出现多个人的人脸，也能选出多个人的人脸，有利于提高整体算法的人脸查全率。

以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

Claims (10)

1.一种人脸或人头图像质量的模型训练方法，其特征在于，该方法包括如下步骤：

步骤1，收集应用场景或现有数据库的人脸图片、人头图片、非人脸和人头图片，和/或上半身图片为训练集；

使用人脸检测，关键点检测，人头姿态估计的大模型进行机器预标注，获得人脸检测框预标注信息，人脸关键点预标注信息，人头姿态估计预标注信息，人脸属性预标注信息；

使用大模型对数据进行人脸质量标签的分级标注，再通过人工修正的方式审核，分类数据；

人脸质量分级标签为(a,b,c)标签分别为，标签c为区分人脸和其他,人脸图片标注c＝1,其他图片标注c＝0；b标签区分疑似可被识别的人脸和其他,疑似可被识别的人脸标注b＝1,其他图片标注b＝0；a标签用于区分高质量的人脸和其他，高质量的人脸标注a＝1,其他图片标注a＝0；

步骤2，设计人脸主次任务反向分离模型和损失函数，并对模型进行训练人脸主次任务反向分离模型，包括主任务和次任务；

在模型训练的反向传播过程中，主任务的损失可以反向传播到最低层，而次任务的损失只传播到自身的网络层，在模型训练前向传播的时候，次任务直接使用主任务的中间层特征作为输入；

训练过程中，次任务以中间层特征作为输入时，主任务的损失可以反向传播影响中间层特征，次任务再根据中间层特征的变化，产生新的损失，进而调整自身的网络参数；

在该模型中，主任务用于人脸检测、人脸关键点检测和人脸质量分级，次任务用于人头姿态估计。

2.根据权利要求1所述的一种人脸或人头图像质量的模型训练方法，其特征在于，步骤1具体为：使用检测算法，跟踪算法收集应用场景的人脸或人头图片，并收集场景下其他的非人头人脸图片；收集含有人头姿态估计标注，人脸关键点标注，人脸属性标注的人脸图片，和/或上半身图片。

3.根据权利要求2所述的一种人脸或人头图像质量的模型训练方法，其特征在于，所述人脸检测框标注信息为(X1,Y1,X2,Y2)，(X1,Y1)、(X2,Y2)为人脸检测框左上角坐标和右下角坐标；所述人脸关键点预标注信息为(x1,y1,x2,y2,x3,y3,x4,y4,x5,y5)，即仅标注5个关键点，分别为左眼，右眼，鼻子，嘴巴左角，嘴巴右角的坐标；所述人头姿态估计预标注信息为(pitch,yaw,roll)，其中pitch,yaw,roll分别为欧拉角中的俯仰角，偏航角，滚动角。

4.根据权利要求1-3任一项所述的一种人脸或人头图像质量的模型训练方法，其特征在于，步骤1还包括对于行人上半身图片进行处理：使用四向随机数据增广方式，获得增广的人脸，人头的图片；四向随机数据增广具体为：首先获取人脸检测框的位置，在上下两个方向上，随机扩充人脸检测框的高的0到0.2倍，或在左右两个方向上，随机扩充人脸检测框的宽的0到0.2倍；将检测框扩充后的区域裁剪下来作为增广的数据集图片，同时修改对应的人脸标注框，人脸关键点检测预标注信息。

5.根据权利要求4所述的一种人脸或人头图像质量的模型训练方法，其特征在于，步骤1还包括对人脸检测框预标注信息，人脸关键点预标注信息，人头姿态估计预标注信息做人工审核，对于错误的人脸检测框预标注信息和人脸关键点预标注信息进行人工修正，对于与实际情形差距较大的人头姿态估计预标注的数据直接删除。

6.根据权利要求1-5任一项所述的一种人脸或人头图像质量的模型训练方法，其特征在于，所述高质量的人脸为：人头姿态的俯仰角和偏航角不超过30度，而且人脸清晰，人脸尺寸大于60*60像素的人脸；所述疑似可被识别的人脸为：人头姿态的俯仰角和偏转角不超过60度，而且非严重遮挡，非严重模糊的图片；人脸为：人头姿态的俯仰角和偏转角不超过90度，可以看到鼻子，嘴巴，或眼睛其中一个或多个的图片；非人脸图片为：各种非人脸数据包含后脑勺，人体其他部位，场景中的其他物体。

7.根据权利要求1-6任一项所述的一种人脸或人头图像质量的模型训练方法，其特征在于，在损失函数的选择上，人脸质量分级选用的损失为二元交叉熵损失，人脸关键点采用的是均方差损失，人脸检测损失使用的是IOU loss，人头姿态估计损失使用的是均方差损失；在训练过程中使用不同的权重系数进行组合，从而达成多个任务的学习。

8.一种人脸或人头图像质量的评估方法，其特征在于，该方法包括

根据根据权利要求1-7任一项所述的一种人脸或人头图像质量的模型训练方法训练好的人脸主次任务反向传播分离模型，在模型导出阶段，将主次任务模型进行拼接；

在模型推理时，只用到模型的前向传播部分，该模型可同时输出人脸检测、人脸关键点检测、人脸质量分级标签、人头姿态估计的结果，综合人脸检测、人脸关键点检测、人脸质量分级标签、人头姿态估计对人脸质量进行评估，进而得到人脸质量的综合得分。

9.根据权利要求8所述的一种人脸或人头图像质量的评估方法，其特征在于，所述综合人脸检测、人脸关键点检测、人脸质量分级标签、人头姿态估计对人脸质量进行评估，得到人脸质量的综合得分，具体为：

首先记录输入的图片的宽度为w，高度为h,对输入的图片做模型推理，获得主次任务反向传播可分离模型的输出，其中人脸标签为(a,b,c)，人脸关键点为(x1,y1,x2,y2,x3,y3,x4,y4,x5,y5)，人脸角度(pitch,yaw,roll)

算法的参数设定有：

分数阈值:0.5

尺寸范围:(min_size,max_size)

角度阈值:(thresh_pitch,thresh_yaw)

直接筛除的策略：

如果h,w的较小值小于min_size或者abs(pitch)>thresh_pitch或者abs(yaw)>thresh_yaw,那么最终的人脸质量得分score＝0

优选的，分级策略如下：

等级1：c<0.5或者min(h,w)<min_

等级2：c>0.5且b<0.5

等级3：c>0.5且b>0.5且a<0.5

等级4：c>0.5且b>0.5且a>0.5

优选的，多维评分策略如下：

尺寸得分：box_score＝min(min(h,w)/max_width,1.0)

俯仰角得分：pitch_score＝(thresh_pitch-abs(pitch)/thresh_pitch

偏航角得分：yaw_score＝(thresh_yaw-abs(pitch))/thresh_yaw

优选的，分级多维统一策略如下：

等级1,2,3,4对应的权重level_weight分别为0,1,10,100

等级1,2,3,4对应的分数level_score分别为0，c,b,a

最终的得分为：score＝(level_score+box_score+pitch_score+yaw_score)*level_weight

所以等级1的得分为0，等级2得分范围为(0.5,4)，等级3得分范围为(5,40)，等级4得分范围为(50,400)，从最终的人脸质量评估分数得出人脸质量的等级。

10.一种人脸或人头高质量图像的选取方法，其特征在于，该方法包括：

根据权利要求8-9任一项所述的一种人脸或人头图像质量的评估方法得到的人脸质量评分，从同一人的人脸轨迹或人头轨迹中选取最有利于识别的人脸图像，轨迹中的每一张图片都对应了一个分值，对轨迹中人脸分数生成质量分数的曲线，选取该曲线的所有极大值点的人脸图片，并去掉小于阈值的极大值，将这些极大值作为选取的人脸，由其5个关键点和标准人脸计算仿射矩阵，将人脸图片进行仿射变换，得出校正后的人脸，输入后续人脸识别模型，进行人脸识别；

首先对该轨迹中人脸分数生成质量分数的曲线，然后通过阈值50进行分段，50为定义的高质量人脸的界限；然后在每一段里选择质量得分最大值，若质量得分小于5，5为疑似可识别人脸的阈值，则舍去该最大值；将这些最大值作为选取的人脸，由其5个关键点和标准人脸计算仿射矩阵，将人脸图片进行仿射变换，得出校正后的人脸，输入后续人脸识别模型，进行人脸识别。

Images