CN112989869B - 人脸质量检测模型的优化方法、装置、设备及存储介质 - Google Patents
人脸质量检测模型的优化方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112989869B CN112989869B CN201911215511.4A CN201911215511A CN112989869B CN 112989869 B CN112989869 B CN 112989869B CN 201911215511 A CN201911215511 A CN 201911215511A CN 112989869 B CN112989869 B CN 112989869B
- Authority
- CN
- China
- Prior art keywords
- picture
- detected
- face
- training
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 193
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000005457 optimization Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 143
- 238000002372 labelling Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 27
- 238000007621 cluster analysis Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种人脸质量检测模型的优化方法、装置、设备及存储介质，其中该优化方法包括：利用人脸质量检测模型对多个待检测图片进行检测；根据所述人脸质量检测模型对所述多个待检测图片的检测结果，将所述多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本；获取所述训练图片样本的特征值，并根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签；利用标注有所述特征标签的训练图片样本对所述人脸质量检测模型进行训练，得到优化后的人脸质量检测模型。本发明能提升人脸质量检测模型的鲁棒性。
Description
技术领域
本发明涉及图像检测技术领域，特别涉及一种人脸质量检测模型的优化方法、装置、设备及存储介质。
背景技术
在安防场景中通常涉及到图片的抓拍，一般摄像头的抓拍速度为30帧/秒，即每秒钟摄像头能抓到的图片数量为30张。假设这些图片中含有不同人的大量的人脸，对于每一个人来说，同一张人脸图片的质量会受到光照、曝光时间、人离摄像头远近等多种因素的影响导致有的人脸是模糊的、过小的。如果做一个随机的选择，选择到人脸质量较差的照片，那会导致检测、识别模型的性能下降，通过选择人脸质量最高的人脸才能最大化后续检测、识别模型性能，从而增加整个系统的识别准确率以及人脸属性相关的精准度。然而目前的人脸质量检测模型在对图片进行检测时，由于模型的鲁棒性弱，造成对部分图片的质量检测结果并不理想。
发明内容
本发明提供了一种人脸质量检测模型的优化方法、装置、设备及存储介质，其目的是为了解决人脸质量检测模型的鲁棒性弱的问题。
为了达到上述目的，第一方面，本发明的实施例提供了一种人脸质量检测模型的优化方法，包括：
利用人脸质量检测模型对多个待检测图片进行检测；
根据所述人脸质量检测模型对所述多个待检测图片的检测结果，将所述多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本；
获取所述训练图片样本的特征值，并根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签；
利用标注有所述特征标签的训练图片样本对所述人脸质量检测模型进行训练，得到优化后的人脸质量检测模型。
第二方面，本发明的实施例还提供了一种人脸质量检测模型的优化装置，包括：
检测模块，用于利用人脸质量检测模型对多个待检测图片进行检测；
确定模块，用于根据所述人脸质量检测模型对所述多个待检测图片的检测结果，将所述多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本；
标注模块，用于获取所述训练图片样本的特征值，并根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签；
训练模块，用于利用标注有所述特征标签的训练图片样本对所述人脸质量检测模型进行训练，得到优化后的人脸质量检测模型。
第三方面，本发明的实施例还提供了一种人脸质量检测模型的优化设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的人脸质量检测模型的优化方法的步骤。
第四方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的人脸质量检测模型的优化方法的步骤。
本发明的上述方案至少有如下的有益效果：
在本发明的实施例中，通过在利用人脸质量检测模型对多个待检测图片进行检测时，将多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本，然后获取该训练图片样本的特征值，并根据该训练图片样本的特征值，给该训练图片样本标注用于表征该训练图片样本特征的特征标签，最终利用标注有特征标签的训练图片样本对人脸质量检测模型进行训练，完成对人脸质量检测模型的优化，使人脸质量检测模型的鲁棒性得以提升，进而能准确检测出与该训练图片样本类似的图片的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的人脸质量检测模型的优化方法的流程图；
图2是本发明实施例的特征标签的标注过程的流程图；
图3是本发明实施例的实例中人脸质量检测模型的优化方法的流程图；
图4是本发明实施例的人脸质量检测模型的优化装置的结构示意图；
图5是本发明实施例的人脸质量检测模型的优化设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明的实施例提供了一种人脸质量检测模型的优化方法，该优化方法包括：
步骤11，利用人脸质量检测模型对多个待检测图片进行检测。
其中，在本发明的实施例中，人脸质量检测模型主要用于检测待检测图片的质量，以从连续的同个人的多张人脸图片中选择出质量最高的人脸图片，将不适合做后续检测、识别的人脸过滤掉，方便后续的人员识别。
在利用人脸质量检测模型对多个待检测图片进行检测时，人脸质量检测模型对每个待检测图片的检测结果包括：该待检测图片的质量分数，以及用于指示该待检测图片为人脸图片的概率值。其中，上述质量分数用于表征待检测图片的可识别度，质量分数越高，代表待检测图片越容易被识别；上述概率值若在某一预设概率范围内(如概率值大于等于0.4且小于等于0.6)，则表明难以确定待检测图片为人脸图片，而若该概率值在预设概率范围外，如概率值大于等于0且小于0.4，则表明待检测图片不是人脸图片，如概率值大于0.6且小于等于1，则表明待检测图片是人脸图片。
具体的，上述人脸质量检测模型可以为目前通用的人脸质量检测模型，如Mobilenet主干网络，Mobilenet主干网络为深度学习轻量化网络，其得益于轻量设计可在使用少量计算力的条件下计算。
通常人脸质量检测模型是嵌入视频结构化中使用的，视频结构化内部先调用人脸检测模型将人脸区域提取出来，将人脸区域提出来后将该人脸放进人脸质量检测模型中生成质量分数，如果该质量分数大于预设阈值则被判断为适合后续检测、识别模型使用，可以进入下一阶段进行检测、识别。需要说明的是，人脸质量检测模型是一个二输出模型，其中第一个输出(即第一分支的输出)预测的是质量分数，第二个输出是判断该提取的人脸区域是人脸和非人脸的概率，最终的输出由这两个输出共同决定，以减少人脸质量检测模型出错的可能。因为如果人脸质量检测模型仅仅对质量分数做一个回归，那么极易导致人脸质量检测模型在使用的时候对类人脸产生一定的偏差，举例来说，如果人脸检测器检测到一张狗的脸，因动物的脸跟人脸存在比较多的共同点如鼻子，眼睛，耳朵这类共有特征会导致人脸检测器和人脸质量检测模型的误判断。有了第二分支后，假设狗脸的质量分数是高于预设阈值(假设0.25)，但第二分支是有能力分辨截取的框是否为人脸的，基于第二分支的输出结果(非人脸)可以简单地将该截取框的人脸质量分值置为0。
需要进一步说明的是，一般来说多分支的模型每个分支需要一定深度的卷积层来学习各自任务的特征，但由于人脸质量检测模型的两个分支的任务有比较强的关联，故可分别在两个卷积网络(即用于计算上述第一输出的卷积网络和用于计算第二输出的卷积网络)的最后一层接一层输出为1的全连接层，这样便能在不增加人脸质量检测模型总体计算量的同时，对两个分支的任务进行相互促进，使人脸质量检测模型的鲁棒性更佳。
步骤12，根据所述人脸质量检测模型对所述多个待检测图片的检测结果，将所述多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本。
其中，在本发明的实施例中，上述训练图片样本主要用于对人脸质量检测模型进行训练，以提升人脸质量检测模型的鲁棒性；需要说明的是，若人脸质量检测模型对待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值在预设概率范围内，则该待检测图片为不符合预设质量条件的待检测图片，可以作为训练图片样本。
可见，上述训练图片样本为多个待检测图片中不符合预设质量条件的待检测图片，即多个待检测图片中人脸质量检测模型难以检测的待检测图片。值得一提的是，在本发明的实施例中，在人脸质量检测模型对多个待检测图片进行检测的同时，收集多个待检测图片中难以检测的待检测图片，并用收集到的训练图片样本对人脸质量检测模型进行训练，使人脸质量检测模型在检测的过程中、不增加额外计算量的同时完成自主学习，实现模型优化。需要说明的是，自主学习是指：根据模型输出的分类置信度，针对置信度输出挖掘难样本，让模型针对难样本进行训练提高模型的鲁棒性。
具体的，在本发明的实施例中，上述步骤12，根据所述人脸质量检测模型对所述多个待检测图片的检测结果，将所述多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本的具体实现方式可以为：分别针对所述多个待检测图片中的每个待检测图片，判断该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值是否在预设概率范围内，当该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值在所述预设概率范围内时，确定该待检测图片为不符合预设质量条件的待检测图片，并将该待检测图片作为训练图片样本，而当该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值不在所述预设概率范围内时，丢弃该待检测图片。
其中，上述预设概率范围可根据实际情况进行设定，例如设定为0.4至0.6，因为如果检测结果中用于指示该待检测图片为人脸图片的概率值在0.4至0.6之间，则表明人脸质量检测模型在对该待检测图片进行检测时，难以确定该待检测图片为人脸图片。因此为提高人脸质量检测模型的鲁棒性，需要将这些难以准确判断的待检测图片挑选出来，利用这些待检测图片对人脸质量检测模型进行训练。
步骤13，获取所述训练图片样本的特征值，并根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签。
其中，在本发明的实施例中，具体可将所述人脸质量检测模型对所述训练图片样本进行检测时，所述人脸质量检测模型的倒数第四层输出的特征图作为所述训练图片样本的特征值。
需要说明的是，在本发明的实施例中，上述人脸质量检测模型的倒数第四层输出的特征图为高维度特征图(如512*2*2维度的特征图)，以提升确定特征标签的效率和准确性。其中，上述特征标签主要用于表征训练图片样本是何种类型的图片，如人脸图片、非人脸图片等。至于该特征标签的具体标注过程，将在后文详细阐述。
步骤14，利用标注有所述特征标签的训练图片样本对所述人脸质量检测模型进行训练，得到优化后的人脸质量检测模型。
其中，在本发明的实施例中，在给训练图片样本标注好特征标签后，便能利用该训练图片样本对人脸质量检测模型进行训练，以便人脸质量检测模型后续再遇到类似于该训练图片样本的图片时，能准确检测出这种图片的质量。
其中，在训练人脸质量检测模型的时候让第一个分支(即回归分支)拟合人工标注的人脸质量分数，第二个分支(分类分支)判断该框内是否包含人脸。在定义模型损失函数时需要分别对两个分支定义不同的损失函数，对于回归分支使用的平均误差值为MAE，通过公式1/N*sum(abs(y-y_pred))计算第一个分支的输出跟标定的人脸质量分数的一个损失值，其中y和y_pred分别为人脸框的真实分数和网络的预测输出(即第一个分支预测的输出)，对于分类的分支使用softmax cross entropy，公式如下：其中，C＝2。在训练模型的时候需要有两种选择，一种是每个分支的损失函数分别做反向传播，这样主干网络在一次前向的过程中会被更新两次，这么做的一个弊端是增加了模型的计算量同时容易让模型各自的任务产生了认知偏差。一种比较合理的做法是将两个损失函数加起来再做反向传播，这样做能够综合模型两个分支输出的信息让模型的每一步更新都朝着最正确的方向走。作为一个优选的示例，本发明的实施例采用将两个损失函数(即回归分支的回归损失函数和分类分支的分类损失函数)加起来再做反向传播的做法，在得出网络的预测输出和真实标签以后通过计算得出损失值即可进行反向传播更新人脸质量检测模型的权重。需要说明的是，上述两个损失函数为目前对人脸质量检测模型进行训练时常用的损失函数，因而在此不对上述两个损失函数的运用过程进行过多赘述。
值得一提的是，在本发明的实施例中，通过在利用人脸质量检测模型对多个待检测图片进行检测时，将多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本，然后获取该训练图片样本的特征值，并根据该训练图片样本的特征值，给该训练图片样本标注用于表征该训练图片样本特征的特征标签，最终利用标注有特征标签的训练图片样本对人脸质量检测模型进行训练，完成对人脸质量检测模型的优化，使人脸质量检测模型的鲁棒性得以提升，进而能准确检测出与该训练图片样本类似的图片的质量。
接下来，结合相关附图对上述步骤13中，根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签的具体实现方式作进一步说明。
其中，在本发明的实施例中，可以结合预先收集的部分有代表性的易检测图片完成特征标签的标注。因此在根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签的步骤之前，上述优化方法还包括如下步骤：对预先存储的多个易检测图片的特征值进行聚类分析，得到多个聚类簇。其中，所述多个聚类簇包括人脸图片簇和非人脸图片簇(如背景图片簇、动物脸图片簇)，且所述多个聚类簇中每个聚类簇均具有对应的标签，如人脸图片簇对应的标签为人脸图片，背景图片簇对应的标签为背景图片，动物脸图片簇对应的标签为动物脸图片。
具体的，在本发明的实施例中，可通过kmeans、DBSCAN等聚类算法对预先存储的多个易检测图片的特征值进行聚类分析。其中，易检测图片的特征值可以为人脸质量检测模型对易检测图片进行检测时，人脸质量检测模型的倒数第四层输出的特征图，如512*2*2维度的高维度特征图。在高维空间中聚类算法会将人脸图片聚成一个收拢的蔟。而将非人脸聚成多个与人脸有一定距离的蔟。需要说明的是，上述易检测图片是指符合预设质量条件的图片，即在人脸质量检测模型对其进行检测时，能准确的判断其是人脸图片的图片，或者不是人脸图片，如人脸质量检测模型在对某图片进行检测时，若输出的检测结果中用于指示该图片为人脸图片的概率值为0.9(代表该图片为人脸图片)，则该图片为易检测图片；类似的，输出的检测结果中用于指示该图片为人脸图片的概率值为0.1(代表该图片不是人脸图片)，则该图片为易检测图片。
如图2所示，特征标签的标注过程包括如下步骤：
步骤21，对所述训练图片样本的特征值和所述多个聚类簇进行聚类，得到聚类结果。
其中，在本发明的实施例中，可以将训练图片样本的特征值以及上述多个聚类簇作为聚类算法(如kmeans，DBSCAN等聚类算法)的输入，通过聚类算法对训练图片样本的特征值进行分析，得到聚类结果。需要说明的是：通过聚类算法可将属于同一个类别的样本映射到高维度空间，使得映射后的样本同类之间的间距小，不同类别之间的间距大。举例来说，如果对一张人脸图片和多个聚类簇进行聚类，那么通过聚类后该人脸图片在高维空间中会出在人脸图片簇的蔟内，如果对一张动物脸图片和多个聚类簇进行聚类，那么最终该动物脸图片所处的位置会处于人脸图片蔟的蔟外，而对一张背景图片和多个聚类簇进行聚类，那么该背景图片会处在一个背景图片簇内。
步骤22，根据所述聚类结果，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签。
具体的，在本发明的实施例中，可根据所述聚类结果，比较所述训练图片样本的特征值与所述多个聚类簇中每个聚类簇之间的距离；然后确定所述多个聚类簇中距离所述训练图片样本的特征值最近的聚类簇，并将该聚类簇的标签作为特征标签标注给所述训练图片样本。
举例来说，如果多个聚类簇中人脸图片簇距离训练图片样本的特征值最近，则将人脸图片簇的标签(即人脸图片)作为特征标签标注给所述训练图片样本。
可见，在本发明的实施例中，如图3所示，假设人脸质量检测模型为Mobilenet主干网络，上述优化方法的整体流程如下：
步骤31，利用Mobilenet主干网络对多个待检测图片进行检测，得到检测结果；
步骤32，根据检测结果中用于指示待检测图片为人脸图片的概率值收集训练图片样本；
步骤33，通过聚类分析算法，给训练图片样本标注特征标签；
步骤34，利用标注有特征标签的训练图片样本对Mobilenet主干网络进行训练，更新Mobilenet主干网络。
如图4所示，本发明的实施例还提供了一种人脸质量检测模型的优化装置，包括检测模块41、确定模块42、标注模块43和训练模块44。
其中，检测模块41，用于利用人脸质量检测模型对多个待检测图片进行检测。
确定模块42，用于根据所述人脸质量检测模型对所述多个待检测图片的检测结果，将所述多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本。
标注模块43，用于获取所述训练图片样本的特征值，并根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签。
训练模块44，用于利用标注有所述特征标签的训练图片样本对所述人脸质量检测模型进行训练，得到优化后的人脸质量检测模型。
其中，在本发明的实施例中，上述确定模块42包括判断单元、确定单元和丢弃单元。
具体的，判断单元，用于分别针对所述多个待检测图片中的每个待检测图片，判断该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值是否在预设概率范围内，当该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值在所述预设概率范围内时，触发确定单元；当该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值不在所述预设概率范围内时，触发丢弃单元。
确定单元，用于根据所述判断单元的触发，确定该待检测图片为不符合预设质量条件的待检测图片，并将该待检测图片作为训练图片样本。
丢弃单元，用于根据所述判断单元的触发，丢弃该待检测图片。
其中，在本发明的实施例中，上述人脸质量检测模型的优化装置40还包括聚类模块，该聚类模块用于对预先存储的多个易检测图片的特征值进行聚类分析，得到多个聚类簇；所述多个聚类簇包括人脸图片簇和非人脸图片簇，且所述多个聚类簇中每个聚类簇均具有对应的标签；所述易检测图片为符合预设质量条件的图片。
相应的，上述标注模块43包括第一标注单元和第二标注单元。
具体的，第一标注单元，用于对所述训练图片样本的特征值和所述多个聚类簇进行聚类，得到聚类结果。
第二标注单元，用于根据所述聚类结果，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签。
需要说明的是，在本发明的实施例中，人脸质量检测模型的优化装置40为与上述人脸质量检测模型的优化方法对应的装置，能提升人脸质量检测模型的鲁棒性。
需要进一步说明的是，人脸质量检测模型的优化装置40包括实现上述人脸质量检测模型的优化方法的所有模块或者单元，为避免过多重复，在此不对人脸质量检测模型的优化装置40的各模块或者单元进行赘述。
如图5所示，本发明的实施例还提供了一种人脸质量检测模型的优化设备，包括存储器51、处理器52以及存储在所述存储器51中并可在所述处理器52上运行的计算机程序53，所述处理器52执行所述计算机程序53时实现上述的人脸质量检测模型的优化方法的步骤。
具体的，人脸质量检测模型的优化设备50的处理器52执行所述计算机程序53时实现如下步骤：利用人脸质量检测模型对多个待检测图片进行检测；根据所述人脸质量检测模型对所述多个待检测图片的检测结果，将所述多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本；获取所述训练图片样本的特征值，并根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签；利用标注有所述特征标签的训练图片样本对所述人脸质量检测模型进行训练，得到优化后的人脸质量检测模型。
其中，上述人脸质量检测模型对每个待检测图片的检测结果包括：该待检测图片的质量分数，以及用于指示该待检测图片为人脸图片的概率值。
可选的，人脸质量检测模型的优化设备50的处理器52执行所述计算机程序53时还实现如下步骤：分别针对所述多个待检测图片中的每个待检测图片，判断该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值是否在预设概率范围内；当该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值在所述预设概率范围内时，确定该待检测图片为不符合预设质量条件的待检测图片，并将该待检测图片作为训练图片样本；当该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值不在所述预设概率范围内时，丢弃该待检测图片。
可选的，人脸质量检测模型的优化设备50的处理器52执行所述计算机程序53时还实现如下步骤：将所述人脸质量检测模型对所述训练图片样本进行检测时，所述人脸质量检测模型的倒数第四层输出的特征图作为所述训练图片样本的特征值。
其中，所述人脸质量检测模型的倒数第四层输出的特征图为高维度特征图。
可选的，人脸质量检测模型的优化设备50的处理器52执行所述计算机程序53时还实现如下步骤：对预先存储的多个易检测图片的特征值进行聚类分析，得到多个聚类簇；所述多个聚类簇包括人脸图片簇和非人脸图片簇，且所述多个聚类簇中每个聚类簇均具有对应的标签。上述易检测图片为符合预设质量条件的图片。
可选的，人脸质量检测模型的优化设备50的处理器52执行所述计算机程序53时还实现如下步骤：对所述训练图片样本的特征值和所述多个聚类簇进行聚类，得到聚类结果；根据所述聚类结果，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签。
可选的，人脸质量检测模型的优化设备50的处理器52执行所述计算机程序53时还实现如下步骤：根据所述聚类结果，比较所述训练图片样本的特征值与所述多个聚类簇中每个聚类簇之间的距离；确定所述多个聚类簇中距离所述训练图片样本的特征值最近的聚类簇，并将该聚类簇的标签作为特征标签标注给所述训练图片样本。
即，在本发明的具体实施例中，人脸质量检测模型的优化设备50的处理器52执行所述计算机程序53时实现上述的人脸质量检测模型的优化方法的步骤，能提升人脸质量检测模型的鲁棒性。
示例性的，上述计算机程序53可以被分割成一个或多个模块/单元，该一个或者多个模块/单元被存储在存储器51中，并由处理器52执行，以完成本发明。且该一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序53在人脸质量检测模型的优化设备50中的执行过程。
上述人脸质量检测模型的优化设备50可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该人脸质量检测模型的优化设备50可包括，但不仅限于，处理器52、存储器51。本领域技术人员可以理解，所述示意图仅仅是人脸质量检测模型的优化设备50的示例，并不构成对人脸质量检测模型的优化设备50的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如人脸质量检测模型的优化设备50还可以包括输入输出设备、网络接入设备、总线等。
上述处理器52可以是中央处理单元(CPU，Central Processing Unit)，还可以是其他通用处理器、数字信号处理器(DSP，Digital Signal Processor)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA，Field-Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器52是人脸质量检测模型的优化设备50的控制中心，利用各种接口和线路连接整个人脸质量检测模型的优化设备50的各个部分。
上述存储器51可用于存储计算机程序53和/或模块，处理器52通过运行或执行存储在存储器51内的计算机程序53和/或模块，以及调用存储在存储器51内的数据，实现人脸质量检测模型的优化设备50的各种功能。具体的，存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SMC，Smart Media Card)，安全数字(SD，Secure Digital)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，由于人脸质量检测模型的优化设备50的处理器52执行所述计算机程序53时实现上述的人脸质量检测模型的优化方法的步骤，因此上述人脸质量检测模型的优化方法的所有实施例均能适用于该人脸质量检测模型的优化设备50，且均能达到相同或相似的有益效果。
此外，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的人脸质量检测模型的优化方法的步骤。
即，在本发明的具体实施例中，计算机可读存储介质的计算机程序被处理器执行时实现上述的人脸质量检测模型的优化方法的步骤，能提升人脸质量检测模型的鲁棒性。
示例性的，计算机可读存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (5)
1.一种人脸质量检测模型的优化方法，其特征在于，包括：
利用人脸质量检测模型对多个待检测图片进行检测；
根据所述人脸质量检测模型对所述多个待检测图片的检测结果，将所述多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本，所述人脸质量检测模型对每个待检测图片的检测结果包括：该待检测图片的质量分数，以及用于指示该待检测图片为人脸图片的概率值；
获取所述训练图片样本的特征值，并根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签；
利用标注有所述特征标签的训练图片样本对所述人脸质量检测模型进行训练，得到优化后的人脸质量检测模型；
所述根据所述人脸质量检测模型对所述多个待检测图片的检测结果，将所述多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本的步骤，包括：
分别针对所述多个待检测图片中的每个待检测图片，判断该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值是否在预设概率范围内；
当该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值在所述预设概率范围内时，确定该待检测图片为不符合预设质量条件的待检测图片，并将该待检测图片作为训练图片样本；
当该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值不在所述预设概率范围内时，丢弃该待检测图片；
在所述根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签的步骤之前，所述优化方法还包括：
对预先存储的多个易检测图片的特征值进行聚类分析，得到多个聚类簇；所述多个聚类簇包括人脸图片簇和非人脸图片簇，且所述多个聚类簇中每个聚类簇均具有对应的标签；所述易检测图片为符合预设质量条件的图片；
所述根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签的步骤，包括：
对所述训练图片样本的特征值和所述多个聚类簇进行聚类，得到聚类结果；
根据所述聚类结果，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签。
2.根据权利要求1所述的优化方法，其特征在于，所述根据所述聚类结果，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签的步骤，包括：
根据所述聚类结果，比较所述训练图片样本的特征值与所述多个聚类簇中每个聚类簇之间的距离；
确定所述多个聚类簇中距离所述训练图片样本的特征值最近的聚类簇，并将该聚类簇的标签作为特征标签标注给所述训练图片样本。
3.一种人脸质量检测模型的优化装置，其特征在于，包括：
检测模块，用于利用人脸质量检测模型对多个待检测图片进行检测；
确定模块，用于根据所述人脸质量检测模型对所述多个待检测图片的检测结果，将所述多个待检测图片中不符合预设质量条件的待检测图片作为训练图片样本，所述人脸质量检测模型对每个待检测图片的检测结果包括：该待检测图片的质量分数，以及用于指示该待检测图片为人脸图片的概率值；
标注模块，用于获取所述训练图片样本的特征值，并根据所述训练图片样本的特征值，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签；
训练模块，用于利用标注有所述特征标签的训练图片样本对所述人脸质量检测模型进行训练，得到优化后的人脸质量检测模型；
所述确定模块包括：
判断单元，用于分别针对所述多个待检测图片中的每个待检测图片，判断该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值是否在预设概率范围内，当该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值在所述预设概率范围内时，触发确定单元；当该待检测图片的检测结果中用于指示该待检测图片为人脸图片的概率值不在所述预设概率范围内时，触发丢弃单元；
确定单元，用于根据所述判断单元的触发，确定该待检测图片为不符合预设质量条件的待检测图片，并将该待检测图片作为训练图片样本；
丢弃单元，用于根据所述判断单元的触发，丢弃该待检测图片；
所述优化装置还包括：
聚类模块，用于对预先存储的多个易检测图片的特征值进行聚类分析，得到多个聚类簇；所述多个聚类簇包括人脸图片簇和非人脸图片簇，且所述多个聚类簇中每个聚类簇均具有对应的标签；所述易检测图片为符合预设质量条件的图片；
所述标注模块包括：
第一标注单元，用于对所述训练图片样本的特征值和所述多个聚类簇进行聚类，得到聚类结果；
第二标注单元，用于根据所述聚类结果，给所述训练图片样本标注用于表征所述训练图片样本特征的特征标签。
4.一种人脸质量检测模型的优化设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1或2所述的人脸质量检测模型的优化方法的步骤。
5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述的人脸质量检测模型的优化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911215511.4A CN112989869B (zh) | 2019-12-02 | 2019-12-02 | 人脸质量检测模型的优化方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911215511.4A CN112989869B (zh) | 2019-12-02 | 2019-12-02 | 人脸质量检测模型的优化方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112989869A CN112989869A (zh) | 2021-06-18 |
| CN112989869B true CN112989869B (zh) | 2024-05-07 |
Family
ID=76331434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911215511.4A Active CN112989869B (zh) | 2019-12-02 | 2019-12-02 | 人脸质量检测模型的优化方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112989869B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114863224B (zh) * | 2022-07-05 | 2022-10-11 | 深圳比特微电子科技有限公司 | 训练方法、图像质量检测方法、装置和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609493A (zh) * | 2017-08-25 | 2018-01-19 | 广州视源电子科技股份有限公司 | 优化人脸图片质量评价模型的方法及装置 |
| WO2018054283A1 (zh) * | 2016-09-23 | 2018-03-29 | 北京眼神科技有限公司 | 人脸模型的训练方法和装置、人脸认证方法和装置 |
| CN109271970A (zh) * | 2018-10-30 | 2019-01-25 | 北京旷视科技有限公司 | 人脸检测模型训练方法及装置 |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN110427912A (zh) * | 2019-08-12 | 2019-11-08 | 深圳市捷顺科技实业股份有限公司 | 一种基于深度学习的人脸检测方法及其相关装置 |
-
2019
- 2019-12-02 CN CN201911215511.4A patent/CN112989869B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018054283A1 (zh) * | 2016-09-23 | 2018-03-29 | 北京眼神科技有限公司 | 人脸模型的训练方法和装置、人脸认证方法和装置 |
| CN107609493A (zh) * | 2017-08-25 | 2018-01-19 | 广州视源电子科技股份有限公司 | 优化人脸图片质量评价模型的方法及装置 |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN109271970A (zh) * | 2018-10-30 | 2019-01-25 | 北京旷视科技有限公司 | 人脸检测模型训练方法及装置 |
| CN110427912A (zh) * | 2019-08-12 | 2019-11-08 | 深圳市捷顺科技实业股份有限公司 | 一种基于深度学习的人脸检测方法及其相关装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于肤色特征和深度模型的人脸检测方法;陈伟栋;张杨;杨晓龙;;工业控制计算机(03);全文 * |
| 改进的多目标回归实时人脸检测算法;吴志洋;卓勇;廖生辉;;计算机工程与应用(11);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112989869A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109117848B (zh) | 一种文本行字符识别方法、装置、介质和电子设备 | |
| CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
| CN110188829B (zh) | 神经网络的训练方法、目标识别的方法及相关产品 | |
| WO2023010758A1 (zh) | 一种动作检测方法、装置、终端设备和存储介质 | |
| US20210326638A1 (en) | Video panoptic segmentation | |
| US20200043171A1 (en) | Counting objects in images based on approximate locations | |
| WO2021031817A1 (zh) | 情绪识别方法、装置、计算机装置及存储介质 | |
| CN111783767B (zh) | 文字识别方法、装置、电子设备及存储介质 | |
| CN111814690B (zh) | 一种目标重识别方法、装置和计算机可读存储介质 | |
| JP2022548187A (ja) | 対象再識別方法および装置、端末並びに記憶媒体 | |
| CN104966109A (zh) | 医疗化验单图像分类方法及装置 | |
| US20210406568A1 (en) | Utilizing multiple stacked machine learning models to detect deepfake content | |
| CN112989869B (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
| CN113902944A (zh) | 模型的训练及场景识别方法、装置、设备及介质 | |
| CN113239883A (zh) | 分类模型的训练方法、装置、电子设备以及存储介质 | |
| CN112560856A (zh) | 车牌检测识别方法、装置、设备及存储介质 | |
| EP4332910A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
| CN114241411B (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
| CN115240647A (zh) | 声音事件检测方法、装置、电子设备及存储介质 | |
| CN112784691B (zh) | 一种目标检测模型训练方法、目标检测方法和装置 | |
| CN115131826A (zh) | 物品检测识别方法、网络模型的训练方法和装置 | |
| CN117523218A (zh) | 标签生成、图像分类模型的训练、图像分类方法及装置 | |
| CN114330542A (zh) | 一种基于目标检测的样本挖掘方法、装置及存储介质 | |
| CN112446428A (zh) | 一种图像数据处理方法及装置 | |
| CN111143626A (zh) | 团伙识别方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |