CN110738160A - 一种结合人脸检测的人脸质量评估方法 - Google Patents

一种结合人脸检测的人脸质量评估方法 Download PDF

Info

Publication number
CN110738160A
CN110738160A CN201910966655.7A CN201910966655A CN110738160A CN 110738160 A CN110738160 A CN 110738160A CN 201910966655 A CN201910966655 A CN 201910966655A CN 110738160 A CN110738160 A CN 110738160A
Authority
CN
China
Prior art keywords
human face
face
quality
frames
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910966655.7A
Other languages
English (en)
Inventor
向伟
沈复民
孔繁昊
奚兴
张艳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Koala Technology Co Ltd
Original Assignee
Chengdu Koala Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Koala Technology Co Ltd filed Critical Chengdu Koala Technology Co Ltd
Priority to CN201910966655.7A priority Critical patent/CN110738160A/zh
Publication of CN110738160A publication Critical patent/CN110738160A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合人脸检测的人脸质量评估方法，输入待检测图片并进行特征提取；然后，提取不同尺度的特征进行多尺度特征融合；最后，网络进行多任务训练，分别输出人脸置信度、人脸框坐标、人脸质量，根据人脸置信度筛选出代表人脸的先验框，根据人脸框坐标将先验框回归后得到最后检测得到的人脸框，先验框对应的人脸质量分类即为回归后人脸框的质量分类。本发明将人脸检测和人脸质量评估两个任务在同一个网络中实现，实现了多任务学习；有效节省了GPU显存，同时速度更快。

Description

一种结合人脸检测的人脸质量评估方法
技术领域
本发明属于计算机视觉的技术领域，具体涉及一种结合人脸检测的人脸质量评估方法。
背景技术
人脸识别模块是智能视频监控系统中的重要组成部分，基于监控视频的人脸识别技术面临许多挑战，例如监控环境中存在光照、背景等不断变化。且视频中的人是自由行动的，因此在监控视频中经过人脸检测采集到的人脸经常会存在因为光照或姿态或表情变化大，甚至由于运动而模糊等原因产生的低质量人脸图像。虽然目前很多方法被提出来以增强人脸识别算法对低质量图像的鲁棒性，但是很明显大多数识别算法在高质量的人脸图像上的，因此在人脸识别前需要进行人脸图像质量评估。
对经过人脸检测后得到的人脸图像进行质量评估即为人脸质量评估方法，常用于人脸识别算法之前对人脸图像进行过滤。人脸质量评估脱胎于图像质量评估方法，而图像质量评估从方法上可分为主观评估和客观评估。主观评估就是从人的主观感知来评价图像的质量，首先给出原始参考图像和失真图像，让标注者给失真图像评分，一般采用平均主观得分（Mean Opinion Score，MOS）或平均主观得分差异（Differential Mean OpinionScore，DMOS）表示。客观评估使用数学模型给出量化值，可以使用图像处理技术生成一批失真图像，操作简单，已经成为IQA研究的重点。与传统的图像质量方法不同的是，人脸质量评估不仅关注图像的分辨率、噪声、锐度等，还关注该人脸图像是否存在大角度的侧脸和比较夸张的表情等。
然而，传统的人脸质量评估方法是将人脸检测和人脸质量评估分为两步进行，当图像中人脸较多时，存在运行速度很慢的问题，同时两个模型的GPU显存占用也很高。另一方面，目前的图像质量评估方法只能够消除一些含有噪声、模糊等情况的人脸图像，而对于人脸识别，在注册人脸时需要是正脸、无表情、清晰、完整无遮挡的人脸图片，在识别时，往往高质量的图片更能提高识别准确度，一些较小侧脸、较小表情、轻微模糊的图像也能用于识别。这些是传统图像质量评估无法做到的。本发明将人脸质量分为9类，在人脸识别时可灵活选择人脸的类别进行注册或识别。
发明内容
本发明的目的在于提供一种结合人脸检测的人脸质量评估方法，本发明将人脸检测和人脸质量评估两个任务在同一个网络中实现，实现了多任务学习；有效节省了GPU显存，同时速度更快。
本发明主要通过以下技术方案实现：一种结合人脸检测的人脸质量评估方法，输入待检测图片并进行特征提取；然后，提取不同尺度的特征进行多尺度特征融合；最后，网络进行多任务训练，分别输出人脸置信度、人脸框坐标、人脸质量，根据人脸置信度筛选出代表人脸的先验框，根据人脸框坐标将先验框回归后得到最后检测得到的人脸框，先验框对应的人脸质量分类即为回归后人脸框的质量分类。
为了更好的实现本发明，进一步的，在输入待检测图片之前设置先验框，根据输入图像的大小生成大小不同的先验框，以实现在原图中有多种大小的感受野以覆盖了常见人脸的大小；在不同的特征图设置不同大小的先验框，以提取多种尺度进行检测；在每一个像素点附近生成均匀分布的若干个先验框。
为了更好的实现本发明，进一步的，将先验框与真实目标进行匹配，匹配成功的先验框负责预测物体是人脸的概率和它的质量分类；首先将生成的所有的先验框与真实目标做IoU计算得出交并比IoU；然后，每一个真实目标分配一个最大IoU的先验框，确保每一个真实目标至少有一个先验框与之匹配；最后，为了解决正负样本不均衡的问题，将交并比IoU大于阈值的也分配给真实目标，增加正样本的数量。所述阈值可以设置为0.4。
为了更好的实现本发明，进一步的，将样本按照起损失值排序并选取最高的70％进行训练，同时保证正样本和负样本的比例最高不超过3:1。
为了更好的实现本发明，进一步的，待检测图片经过特征提取网络后图像尺度大小被减小32倍。
为了更好的实现本发明，进一步的，输入的待检测图片依次经过conv1、pool1、conv2、pool2后进行特征提取；所述conv1的k=7、c=24、s=4，pool1的k=3、s=4，所述conv2的k=5、c=64、s=2，所述pool2的k=3、s=2。
为了更好的实现本发明，进一步的，待检测图片依次经过inception1、inception2、inception3丰富感受野，然后依次进入conv3_1、conv3_2、conv4_1、conv4_2提取不同尺度的特征并进行多尺度特征融合，分别从inception3、Conv3_2和Conv4_2中提取三种不同尺度的特征。
为了更好的实现本发明，进一步的，所述inception3中先验框大小设置为32x32、64x64、128x128；所述Conv3_2中先验框大小设置为256x256；所述Conv4_2中先验框大小设置为512x512；inception3的输出特征图大小为32*32，Conv3_2的输出特征图大小为16*16，Conv4_2输出特征图大小为8*8。
为了更好的实现本发明，进一步的，分别采用一个2分类SoftmaxLoss进行人脸和非人脸分类，一个SoothL1Loss进行人脸框坐标的回归，和一个9分类的SoftmaxLoss进行人脸质量分类；得到三种不同尺度进行特征融合之后，利用卷积层分别为三个任务进行多任务训练，对每一个任务进行权重分配，损失值的比例为2:1:1。
为了更好的实现本发明，进一步的，质量分类一共分为9类，按照质量顺序依次分别为标准人脸、小幅度侧脸、微小表情、轻微模糊、夸张表情、大幅度侧脸、中度模糊、重度模糊、遮挡。
本发明的有益效果：
（1）为了解决在小目标检测时出现的漏检问题，提升网络对小目标的敏感度，本发明提取了多种尺度进行检测。
（2）人脸质量对人脸检测的精度较敏感，因此为了提升质量评估的准确性，本发明使用了先验框密集策略，增加了先验框的个数，进一步提高了的检测效果。
（3）为了进一步平衡正负样本比例和更快更稳定的训练，将样本按照起损失值排序并选取最高的70％进行训练，同时保证正样本和负样本的比例最高不超过3:1。
（4）为了快速减小输入图像的空间尺度大小，在网络前部的特征提取网络中的卷积层和池化层使用了较大的步长，使得图像经过了特征提取网络后图像尺度大小被快速减小了32倍，这样加快了图像的前向传输速度，使得网络耗时更短和gpu显存占用更低。
（5）采用inception的结构主要目的是丰富感受野，使感受野多样化，提升网络检测不同大小人脸的能力。
（6）多尺度融合的优点是对于不同大小的人脸有更好的检测准确度。
（7）本发明将人脸质量分为9类，在人脸识别时可灵活选择人脸的类别进行注册或识别。
（8）在AFW数据集上，人脸检测(MTCNN)+人脸质量评估(ResNet-18)的方式在GPU上平均每一帧消耗31ms，GPU占用约为2.4Gb，本发明方法在GPU上平均每一帧消耗14ms，GPU占用约为0.7Gb。
附图说明
图1为本发明与传统的人脸质量评估方法的对比图；
图2为本发明的网络结构图；
图3为inception结构图；
图4为先验框密集策略原理图；
图5为测试结果图。
具体实施方式
实施例1：
一种结合人脸检测的人脸质量评估方法，如图1（b）所示，输入待检测图片并进行特征提取；然后，提取不同尺度的特征进行多尺度特征融合；最后，网络进行多任务训练，分别输出人脸置信度、人脸框坐标、人脸质量，根据人脸置信度筛选出代表人脸的先验框，根据人脸框坐标将先验框回归后得到最后检测得到的人脸框，先验框对应的人脸质量分类即为回归后人脸框的质量分类。
目前的方法普遍将人脸检测和人脸质量评估分成两个部分，如图1（a）所示，在处理图像中含有多个人脸时，整体速度明显下降。而且因为是两个模型，占用GPU显存也较大。本发明将人脸检测与人脸质量评估模型进行融合，如图1（b）所示，利用基于深度学习的方法进行多任务训练，速度明显优于人脸检测+人脸质量评估的方法，且网络结构轻量，占用GPU显存较小。
假设图像Ｉ中有人脸个数ｎ，相对于传统方法人脸检测模型a＋人脸质量评估模型b，在人脸检测模型ａ中前向传输时间为ta，1个人脸图像在人脸质量评估模型b中的前向传输时间为tb，因此一张包含n个人脸的图像，在传统方法中的前向时间为ta+n*tb，在本发明的模型中前向传输的时间为tc，根据实验结果，tc远远小于ta+n*tb的，且模型占用gpu显存更小。
实施例2：
本实施例是在实施例1的基础上进行优化，如图2所示，其中k表示卷积核大小，c表示卷积核个数，s表示卷积核步长。输入的图片依次经过conv1、pool1、conv2、pool2进行特征提取，所述conv1的k=7、c=24、s=4，pool1的k=3、s=4，所述conv2的k=5、c=64、s=2，所述pool2的k=3、s=2。待检测图片经过特征提取网络后图像尺度大小被减小32倍。
然后依次经过inception1、inception2、inception3三个inception块，图3为inception块的结构，以丰富感受野；然后依次进入conv3_1、conv3_2、conv4_1、conv4_2提取不同尺度的特征并进行多尺度特征融合，分别从inception3、Conv3_2和Conv4_2中提取三种不同尺度的特征。所述conv3_1的k=1、c=128、s=1，所述Conv3_2的k=3、c=256、s=2，所述conv4_1的k=1、c=128、s=1，所述Conv4_2的k=3、c=256、s=2。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例是在实施例1或2的基础上进行优化，得到了三种不同尺度进行特征融合之后，利用卷积层分为三个任务进行多任务训练，分别为人脸2分类任务、人脸框坐标回归任务、人脸质量9分类任务。本发明对每一个任务进行权重分配，损失值的比例为2:1:1。
在预测阶段，网络有三个输出，分别为人脸框坐标、人脸置信度、人脸质量。根据人脸置信度可以筛选出代表人脸的先验框，根据人脸框坐标将先验框回归后能得到最后检测得到的人脸框，先验框对应的人脸质量分类即为回归后人脸框的质量分类。
质量分类一共分为9类，按照质量顺序依次分别为标准人脸、小幅度侧脸、微小表情、轻微模糊、夸张表情、大幅度侧脸、中度模糊、重度模糊、遮挡，详细为：
标准人脸：清晰无表情无遮挡的正脸。
小幅度侧脸：脸部向左右偏向在30度之内。
微小表情：有细微表情的正脸。
轻微模糊：清晰度略微模糊的正脸。
夸张表情：有夸张表情的正脸。
大幅度侧脸：脸部向左右偏向在40度以上。
中度模糊：清晰度中度模糊的正脸。
重度模糊：清晰度严重模糊的正脸。
遮挡：脸部被遮挡的正脸。
数据集分类规则为，向下兼容。例如一张人脸图像可以同时包含微小表情和大幅度侧脸，但他的正确分类应该为大幅度侧脸。人脸质量评估只有第1类标准人脸才能用于人脸注册，后8类不能注册。前4类可以用于人脸识别，后5类不能用于人脸识别。
通过以上过程，我们能得到人脸框和人脸质量，如图5所示，图5中左上标注了该人脸框的质量评估类别，large_e代表夸张表情人脸，good代表标准人脸表情，根据人脸质量决定该人脸框是否能用于人脸注册或人脸识别。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
一种结合人脸检测的人脸质量评估方法，如图2所示，图中以Conv开头的是卷积层，Pool开头是池化层，inception代表inception结构，其具体的网络结构如图3所示。k表示卷积核大小，c表示卷积核个数，s表示卷积核步长。
首先输入待检测图片，经过网络进行特征提取后，提取不同尺度的特征进行多尺度特征融合，最后网络进行多任务训练，分别采用一个2分类SoftmaxLoss进行人脸和非人脸分类，一个SoothL1Loss进行人脸框坐标的回归，和一个9分类的SoftmaxLoss进行人脸质量分类。本发明网络在预测阶段一共有三个输出，分别是人脸框坐标、人脸置信度、人脸质量。本发明主要包括以下步骤：
1、输入待检测图片之前，首先需要设置先验框，设置先验框的目的是确定训练图像中的ground truth（真实目标）与哪个先验框来进行匹配，与ground truth匹配的先验框所对应的边界框将负责预测该物体的是人脸分类和质量分类。本发明为了将人脸检测与人脸质量评估结合，对先验框的设置方法如下：
1）根据输入图像的大小生成一系列不同大小的先验框，目的是在原图中有多种大小的感受野以覆盖了常见人脸的大小。
2）为了解决在小目标检测时出现的漏检问题，提升网络对小目标的敏感度，本发明提取了多种尺度进行检测。因此，为了让先验框适应多尺度的特征，本发明在不同的特征图设置不同大小的先验框。如图2所示，本发明共提取了三种不同尺度的特征，分别从inception3、Conv3_2和Conv4_2中提取，inception3中先验框大小设置为32x32、64x64、128x128，Conv3_2中先验框大小设置为256x256，Conv4_2中先验框大小设置为512x512。
3）人脸质量对人脸检测的精度较敏感，因此为了提升质量评估的准确性，本发明使用了先验框密集策略，增加了先验框的个数，进一步提高了的检测效果。如图4所示，具体为不仅在每一个像素点生成一个对应的先验框，而是在每一个像素点附近生成均匀分布的4个先验框。
2、先验框生成以后，需要与ground truth（真实目标）进行匹配，匹配成功的先验框负责预测该物体是人脸的概率和它的质量分类，因此匹配的策略至关重要，本发明采用以下方法将人脸检测与人脸质量评估进行有效的融合：
1）首先将生成的所有的先验框与ground truth（真实目标）做IoU（Intersection overUnion）计算得出交并比IoU。
2）其次给每一个ground truth（真实目标）分配一个最大IoU的先验框，确保每一个ground truth（真实目标）至少有一个先验框与之匹配。
3）最后，为了解决正负样本不均衡的问题，将交并比IoU大于一定阈值（0.4）的也分配给该ground truth（真实目标），增加了正样本的数量。
为了进一步平衡正负样本比例和更快更稳定的训练，将样本按照起损失值排序并选取最高的70％进行训练，同时保证正样本和负样本的比例最高不超过3:1。
3、先验框设置完成之后，将图像输入网络中时，为了快速减小输入图像的空间尺度大小，在网络前部的特征提取网络中的卷积层和池化层使用了较大的步长，如图2中的ｓ所示，使得图像经过了特征提取网络后图像尺度大小被快速减小了32倍，这样加快了图像的前向传输速度，使得网络耗时更短和gpu显存占用更低。
4、接下来进入三个inception块，inception块的结构如图3所示。采用inception的结构主要目的是丰富感受野，使感受野多样化，提升网络检测不同大小人脸的能力。随后的两个卷积层是为了提取不同尺度的特征进行多尺度特征融合。Inception3的输出特征图大小为32*32，Conv3_2的输出特征图大小为16*16，Conv4_2输出特征图大小为8*8。多尺度融合的优点是对于不同大小的人脸有更好的检测准确度。
5、得到了三种不同尺度进行特征融合之后，利用卷积层分为三个任务进行多任务训练，分别为人脸2分类任务，人脸框坐标回归任务，人脸质量9分类任务。本发明对每一个任务进行权重分配，损失值的比例为2:1:1。
在预测阶段，网络有三个输出，分别为人脸框坐标、人脸置信度、人脸质量。根据人脸置信度可以筛选出代表人脸的先验框，根据人脸框坐标将先验框回归后能得到最后检测得到的人脸框，先验框对应的人脸质量分类即为回归后人脸框的质量分类。
质量分类一共分为9类，按照质量顺序依次分别为标准人脸、小幅度侧脸、微小表情、轻微模糊、夸张表情、大幅度侧脸、中度模糊、重度模糊、遮挡，详细为：
标准人脸：清晰无表情无遮挡的正脸。
小幅度侧脸：脸部向左右偏向在30度之内。
微小表情：有细微表情的正脸。
轻微模糊：清晰度略微模糊的正脸。
夸张表情：有夸张表情的正脸。
大幅度侧脸：脸部向左右偏向在40度以上。
中度模糊：清晰度中度模糊的正脸。
重度模糊：清晰度严重模糊的正脸。
遮挡：脸部被遮挡的正脸。
数据集分类规则为向下兼容。例如一张人脸图像可以同时包含微小表情和大幅度侧脸，但他的正确分类应该为大幅度侧脸。人脸质量评估只有第1类标准人脸才能用于人脸注册，后8类不能注册。前4类可以用于人脸识别，后5类不能用于人脸识别。
通过以上过程，我们能得到人脸框和人脸质量，如图5所示，图中左上标注了该人脸框的质量评估类别，large_e代表夸张表情人脸，good代表标准人脸表情，根据人脸质量决定该人脸框是否能用于人脸注册或人脸识别。
在AFW数据集上，人脸检测(MTCNN)+人脸质量评估(ResNet-18)的方式在GPU上平均每一帧消耗31ms，GPU占用约为2.4Gb，本发明方法在GPU上平均每一帧消耗14ms，GPU占用约为0.7Gb。本发明将人脸检测和人脸质量评估两个任务在同一个网络中实现，实现了多任务学习；有效节省了GPU显存，同时速度更快。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (10)

1.一种结合人脸检测的人脸质量评估方法，其特征在于，输入待检测图片并进行特征提取；然后，提取不同尺度的特征进行多尺度特征融合；最后，网络进行多任务训练，分别输出人脸置信度、人脸框坐标、人脸质量，根据人脸置信度筛选出代表人脸的先验框，根据人脸框坐标将先验框回归后得到最后检测得到的人脸框，先验框对应的人脸质量分类即为回归后人脸框的质量分类。
2.根据权利要求1所述的一种结合人脸检测的人脸质量评估方法，其特征在于，在输入待检测图片之前设置先验框，根据输入图像的大小生成大小不同的先验框，以实现在原图中有多种大小的感受野以覆盖了常见人脸的大小；在不同的特征图设置不同大小的先验框，以提取多种尺度进行检测；在每一个像素点附近生成均匀分布的若干个先验框。
3.根据权利要求2所述的一种结合人脸检测的人脸质量评估方法，其特征在于，将先验框与真实目标进行匹配，匹配成功的先验框负责预测物体是人脸的概率和它的质量分类；首先将生成的所有的先验框与真实目标做IoU计算得出交并比IoU；然后，每一个真实目标分配一个最大IoU的先验框，确保每一个真实目标至少有一个先验框与之匹配；最后，为了解决正负样本不均衡的问题，将交并比IoU大于阈值的也分配给真实目标，增加正样本的数量。
4.根据权利要求3所述的一种结合人脸检测的人脸质量评估方法，其特征在于，将样本按照起损失值排序并选取最高的70%进行训练，同时保证正样本和负样本的比例最高不超过3:1。
5.根据权利要求1所述的一种结合人脸检测的人脸质量评估方法，其特征在于，待检测图片经过特征提取网络后图像尺度大小被减小32倍。
6.根据权利要求5所述的一种结合人脸检测的人脸质量评估方法，其特征在于，输入的待检测图片依次经过conv1、pool1、conv2、pool2后进行特征提取；所述conv1的k=7、c=24、s=4，pool1的k=3、s=4，所述conv2的k=5、c=64、s=2，所述pool2的k=3、s=2。
7.根据权利要求1所述的一种结合人脸检测的人脸质量评估方法，其特征在于，待检测图片依次经过inception1、inception2、inception3丰富感受野，然后依次进入conv3_1、conv3_2、conv4_1、conv4_2提取不同尺度的特征并进行多尺度特征融合，分别从inception3、Conv3_2和Conv4_2中提取三种不同尺度的特征。
8.根据权利要求7所述的一种结合人脸检测的人脸质量评估方法，其特征在于，所述inception3中先验框大小设置为32x32、64x64、128x128；所述Conv3_2中先验框大小设置为256x256；所述Conv4_2中先验框大小设置为512x512；inception3的输出特征图大小为32*32，Conv3_2的输出特征图大小为16*16，Conv4_2输出特征图大小为8*8。
9.根据权利要求7所述的一种结合人脸检测的人脸质量评估方法，其特征在于，分别采用一个2分类SoftmaxLoss进行人脸和非人脸分类，一个SoothL1Loss进行人脸框坐标的回归，和一个9分类的SoftmaxLoss进行人脸质量分类；得到三种不同尺度进行特征融合之后，利用卷积层分别为三个任务进行多任务训练，对每一个任务进行权重分配，损失值的比例为2:1:1。
10.根据权利要求1所述的一种结合人脸检测的人脸质量评估方法，其特征在于，质量分类一共分为9类，按照质量顺序依次分别为标准人脸、小幅度侧脸、微小表情、轻微模糊、夸张表情、大幅度侧脸、中度模糊、重度模糊、遮挡。
CN201910966655.7A 2019-10-12 2019-10-12 一种结合人脸检测的人脸质量评估方法 Pending CN110738160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910966655.7A CN110738160A (zh) 2019-10-12 2019-10-12 一种结合人脸检测的人脸质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910966655.7A CN110738160A (zh) 2019-10-12 2019-10-12 一种结合人脸检测的人脸质量评估方法

Publications (1)

Publication Number Publication Date
CN110738160A true CN110738160A (zh) 2020-01-31

Family

ID=69268743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910966655.7A Pending CN110738160A (zh) 2019-10-12 2019-10-12 一种结合人脸检测的人脸质量评估方法

Country Status (1)

Country Link
CN (1) CN110738160A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401290A (zh) * 2020-03-24 2020-07-10 杭州博雅鸿图视频技术有限公司 一种人脸检测方法及系统、计算机可读存储介质
CN111612785A (zh) * 2020-06-03 2020-09-01 浙江大华技术股份有限公司 人脸图片质量评估方法、装置及存储介质
CN111695430A (zh) * 2020-05-18 2020-09-22 电子科技大学 一种基于特征融合和视觉感受野网络的多尺度人脸检测方法
CN112102314A (zh) * 2020-11-02 2020-12-18 成都考拉悠然科技有限公司 基于不确定性来判断人脸图片质量的计算方法
CN112200010A (zh) * 2020-09-15 2021-01-08 青岛邃智信息科技有限公司 一种社区监控场景下的人脸采集质量评估策略
CN112380960A (zh) * 2020-11-11 2021-02-19 广东电力信息科技有限公司 一种人群计数方法、装置、设备和存储介质
CN112750121A (zh) * 2021-01-20 2021-05-04 赛维森(广州)医疗科技服务有限公司 用于病理玻片数字图像质量检测的系统及其方法
CN113158777A (zh) * 2021-03-08 2021-07-23 佳都新太科技股份有限公司 质量评分方法、质量评分模型的训练方法及相关装置
CN113361307A (zh) * 2020-03-06 2021-09-07 上海卓繁信息技术股份有限公司 一种人脸表情分类方法，装置及存储设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596902A (zh) * 2018-05-04 2018-09-28 北京大学 基于选通卷积神经网络的多任务全参考图像质量评价方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN109919097A (zh) * 2019-03-08 2019-06-21 中国科学院自动化研究所 基于多任务学习的人脸和关键点联合检测系统、方法
CN110263756A (zh) * 2019-06-28 2019-09-20 东北大学 一种基于联合多任务学习的人脸超分辨率重建系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596902A (zh) * 2018-05-04 2018-09-28 北京大学 基于选通卷积神经网络的多任务全参考图像质量评价方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN109919097A (zh) * 2019-03-08 2019-06-21 中国科学院自动化研究所 基于多任务学习的人脸和关键点联合检测系统、方法
CN110263756A (zh) * 2019-06-28 2019-09-20 东北大学 一种基于联合多任务学习的人脸超分辨率重建系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHIFENG ZHANG 等: "FaceBoxes: A CPU Real-time Face Detector with High Accuracy", 《ARXIV》 *
向佳: "基于卷积神经网络的人脸检测和表情识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361307A (zh) * 2020-03-06 2021-09-07 上海卓繁信息技术股份有限公司 一种人脸表情分类方法，装置及存储设备
CN111401290A (zh) * 2020-03-24 2020-07-10 杭州博雅鸿图视频技术有限公司 一种人脸检测方法及系统、计算机可读存储介质
CN111695430B (zh) * 2020-05-18 2023-06-30 电子科技大学 一种基于特征融合和视觉感受野网络的多尺度人脸检测方法
CN111695430A (zh) * 2020-05-18 2020-09-22 电子科技大学 一种基于特征融合和视觉感受野网络的多尺度人脸检测方法
CN111612785A (zh) * 2020-06-03 2020-09-01 浙江大华技术股份有限公司 人脸图片质量评估方法、装置及存储介质
CN111612785B (zh) * 2020-06-03 2024-02-02 浙江大华技术股份有限公司 人脸图片质量评估方法、装置及存储介质
CN112200010A (zh) * 2020-09-15 2021-01-08 青岛邃智信息科技有限公司 一种社区监控场景下的人脸采集质量评估策略
CN112102314A (zh) * 2020-11-02 2020-12-18 成都考拉悠然科技有限公司 基于不确定性来判断人脸图片质量的计算方法
CN112380960A (zh) * 2020-11-11 2021-02-19 广东电力信息科技有限公司 一种人群计数方法、装置、设备和存储介质
CN112750121A (zh) * 2021-01-20 2021-05-04 赛维森(广州)医疗科技服务有限公司 用于病理玻片数字图像质量检测的系统及其方法
CN113962975A (zh) * 2021-01-20 2022-01-21 赛维森(广州)医疗科技服务有限公司 基于梯度信息对病理玻片数字图像进行质量评估的系统
CN113962975B (zh) * 2021-01-20 2022-09-13 赛维森(广州)医疗科技服务有限公司 基于梯度信息对病理玻片数字图像进行质量评估的系统
CN112750121B (zh) * 2021-01-20 2021-11-26 赛维森(广州)医疗科技服务有限公司 用于病理玻片数字图像质量检测的系统及其方法
CN113158777A (zh) * 2021-03-08 2021-07-23 佳都新太科技股份有限公司 质量评分方法、质量评分模型的训练方法及相关装置

Similar Documents

Publication Publication Date Title
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
CN111178183B (zh) 人脸检测方法及相关装置
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN108288075A (zh) 一种改进ssd的轻量化小目标检测方法
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
KR20180065889A (ko) 타겟의 검측 방법 및 장치
US10007834B2 (en) Detection control device, detection system, non-transitory storage medium, and detection control method
CN114187311A (zh) 一种图像语义分割方法、装置、设备及存储介质
CN111310609B (zh) 基于时序信息和局部特征相似性的视频目标检测方法
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN109902576B (zh) 一种头肩图像分类器的训练方法及应用
CN113297956B (zh) 一种基于视觉的手势识别方法及系统
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN111985488B (zh) 一种基于离线高斯模型的目标检测分割方法及系统
CN112132839B (zh) 一种基于深度卷积级联网络的多尺度快速人脸分割方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200131