CN112215822B - 一种基于轻量级回归网络的人脸图像质量评估方法 - Google Patents

一种基于轻量级回归网络的人脸图像质量评估方法 Download PDF

Info

Publication number
CN112215822B
CN112215822B CN202011092873.1A CN202011092873A CN112215822B CN 112215822 B CN112215822 B CN 112215822B CN 202011092873 A CN202011092873 A CN 202011092873A CN 112215822 B CN112215822 B CN 112215822B
Authority
CN
China
Prior art keywords
face
quality
face image
data set
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011092873.1A
Other languages
English (en)
Other versions
CN112215822A (zh
Inventor
袁丽燕
瞿洪桂
李晋军
高云丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinonet Science and Technology Co Ltd
Original Assignee
Beijing Sinonet Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinonet Science and Technology Co Ltd filed Critical Beijing Sinonet Science and Technology Co Ltd
Priority to CN202011092873.1A priority Critical patent/CN112215822B/zh
Publication of CN112215822A publication Critical patent/CN112215822A/zh
Application granted granted Critical
Publication of CN112215822B publication Critical patent/CN112215822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，公开了一种基于轻量级回归网络的人脸图像质量评估方法，包括采集人脸图像数据集；利用人脸检测算法对人脸图像数据集进行数据预处理；利用特征提取算法生成质量分数标签，对深度学习回归网络进行训练、验证和测试，生成人脸质量评估模型；利用人脸质量评估模型对待质量评估的人脸ID进行质量评估。本发明利用余弦相似度和人脸置信度对数据进行标注，减少了人工标注引起的误差，标注速度快，还利用轻量级深度学习网络对人脸图像的质量分数进行回归，既保证了回归精度，还提高了人脸质量评估模型的推理性能，能更全面地对人脸图像进行评价，提高了人脸识别系统的识别正确率和系统运行效率。

Description

一种基于轻量级回归网络的人脸图像质量评估方法
技术领域
本发明涉及计算机视觉技术领域，具体地涉及一种基于轻量级回归网络的人脸图像质量评估方法。
背景技术
人脸识别系统是智能视频监控系统中的重要组成部分，基于监控视频的人脸识别系统由于人脸图像采集的环境较为复杂，存在光线，背景，运动，表情等因素的影响，导致采集的人脸图像中很多存在很多低质量的图像，在人脸识别系统中低质量的人脸图像会大大降低整个人脸识别系统的识别准确率，所以在人脸识别系统中会加入人脸质量估计模块，对人脸图像质量进行估计，筛选出质量好的人脸图像用于后期的特征比对等模块，来提高整个人脸识别系统的识别准确率。现有的人脸图像质量评估方法主要是多因素评价方法和全局学习方法。基于图像的多种影响因素进行综合评价，各因素难以全面考虑，且对人脸图像质量的影响权重难以确定。基于全局的学习方法是指通过训练学习自动将各个因素进行融合得到一个质量分数，基于全局的学习算法操作更为简便，特征自动融合，质量评估结果更为可靠。基于全局的学习算法需要大量的标注数据，人工标注仅使用人类视觉系统的先验知识，未考虑人脸识别系统本身的运行机制。
比如，国家专利公开文献CN109360183A，公开了“一种基于卷积神经网络的人脸图像质量评估方法和系统”，步骤包括：1)构建一深度卷积网络作为大网络，以及一浅卷积层的小网络；2)利用已标注的训练样本分别训练该大网络和该小网络，直至该小网络输出的特征向量与该大网络输出的特征向量基本一致；其中，每次迭代训练时，将该大网络输出的特征向量与该小网络输出的特征向量一起作为该小网络的回归损失函数层的输入；3)将目标人脸图像输入步骤2)训练好的小网络，得到该目标人脸图像的特征向量并将其输入质量评估网络，利用质量评估网络计算得到该目标人脸图像质量。该发明为基于全局的学习算法，需要大量的标注数据，人工标注仅使用人类视觉系统的先验知识，未考虑人脸识别系统本身的运行机制，即人脸检测和特征提取算法对质量评估的影响，而且学习网络使用普通卷积网络，模型精度不高，运行速度慢。
发明内容
本发明提供一种基于轻量级回归网络的人脸图像质量评估方法，从而解决现有技术的上述问题。
一种基于轻量级回归网络的人脸图像质量评估方法，包括如下步骤：
S1)采集人脸图像数据集，人脸图像数据集包括n个人脸ID，第i个人脸ID包括mi个不同类型的人脸图像，从mi个不同类型的人脸图像中选取出一张人脸图像，将选取的人脸图像作为第i个人脸ID的基准图片，i≤n；
S2)利用人脸检测算法对人脸图像数据集进行数据预处理，获得预处理后的人脸图像数据集；
S3)利用特征提取算法对预处理后的人脸图像数据集生成质量分数标签、并对质量分数标签进行归一化处理，利用归一化处理后的质量分数标签对预处理后的人脸图像数据集进行标注；
S4)将标注好归一化处理后的质量分数标签的预处理后的人脸图像数据集按比例分成训练集、验证集和测试集，建立深度学习回归网络，利用训练集、验证集和测试集分别对深度学习回归网络进行训练、验证和测试，生成人脸质量评估模型；
S5)获取待质量评估的人脸ID，利用人脸质量评估模型对待质量评估的人脸ID进行质量评估，获得待质量评估的人脸ID的质量评估结果。
进一步的，步骤S1)中，不同类型包括不同姿态角度、不同表情、不同光照、不同距离以及不同装饰物；从mi个不同类型的人脸图像中选取出一张具有正脸、正常光照、距离适中、无装饰物、正常表情、分辨率高的人脸图像，将选取的人脸图像作为第i个人脸ID的基准图片。
进一步的，步骤S2)中，利用人脸检测算法对所述人脸图像数据集进行数据预处理，获得预处理后的人脸图像数据集，包括以下步骤：
S21)对步骤S1)中的人脸图像数据集进行扩充，将每一张人脸图像进行不同角度旋转，将进行不同角度旋转后的人脸图像增加到人脸图像数据集，获得扩充后的人脸图像数据集；
S22)利用人脸检测算法对扩充后的人脸图像数据集进行人脸检测，获得与每一张人脸图像相对应的人脸框以及人脸置信度；
S23)以人脸框中心为中心，人脸框的宽高最大值为边，剪裁出正方形人脸图像、且在剪裁过程中对人脸框进行不同方向平移和不同比例裁剪，获得剪裁后的人脸图像数据集；
S24)对剪裁后的人脸图像数据集进行扩充预处理，所述扩充预处理包括运动模糊、缩放模糊、色调变化，获得扩充预处理后的人脸图像数据集。
步骤S23)中，以人脸框中心为中心进行剪裁，人脸框的宽度为W，高度为H，若H>W,则以人脸框中心为中心，H为边长裁剪出正方形人脸图像。进行不同比例剪时，以人脸框中心为中心，以其他比例(比如：0.7H或1.2H)为边长剪裁正方形人脸图像，这样能够增加不同的人脸框位置对人脸质量的影响，丰富人脸图像数据。
进一步的，步骤S3)中，利用特征提取算法对预处理后的人脸图像数据集生成质量分数标签，包括以下步骤：
S31)利用特征提取算法提取第i个人脸ID的基准图片的特征，将第i个人脸ID的基准图片的特征作为第i个人脸ID的基准特征yi；
S32)遍历第i个人脸ID的除基准图片外的其他若干个人脸图像，利用特征提取算法分别提取其他若干个人脸图像的特征，将其他若干个人脸图像的特征记为
Figure BDA0002722746300000041
表示第i个人脸ID的除基准图片外的第z个人脸图像的特征，v表示第i个人脸ID的除基准图片外的其他若干个人脸图像的总数；S33)分别计算其他若干个人脸图像的特征与第i个人脸ID的基准特征之间的余弦相似度，利用人脸置信度对余弦相似度进行修正，获得第i个人脸ID的除基准图片外的第z个人脸图像的人脸质量分数
Figure BDA0002722746300000042
表示第i个人脸ID的除基准图片外的第z个人脸图像的的特征与第i个人脸ID的基准特征之间的余弦相似度，
Figure BDA0002722746300000043
为第i个人脸ID的除基准图片外的第z个人脸图像的人脸置信度；
S34)将步骤S33)中获得的第i个人脸ID的除基准图片外的第z个人脸图像的人脸质量分数
Figure BDA0002722746300000044
作为第i个人脸ID的除基准图片外的第z个人脸图像的质量分数标签，获得所有人脸图像的质量分数标签。
进一步的，步骤S3)中，对质量分数标签进行归一化处理，利用归一化处理后的质量分数标签对预处理后的人脸图像数据集进行标注，包括将人脸质量分数小于0的质量分数标签置0，将所有人脸图像的质量分数标签转换到[0,1]数值范围。
进一步的，步骤S5)中，获取待质量评估的人脸ID，利用人脸质量评估模型对待质量评估的人脸ID进行质量评估，获得待质量评估的人脸ID的质量评估结果，包括以下步骤：
S51)对监控视频进行人脸检测及跟踪，得到第j个人脸ID在不同时刻的若干个人脸图像，将第j个人脸ID在不同时刻的若干个人脸图像分别作为人脸质量评估模型的输入，获得与第j个人脸ID在不同时刻的若干个人脸图像分别相对应的若干个质量分数；
S52)将若干个质量分数分别记为
Figure BDA0002722746300000051
表示与第j个人脸ID在第t时刻的人脸图像相对应的质量分数，设置质量分数低阈值，判断若干个质量分数
Figure BDA0002722746300000052
是否均小于质量分数低阈值，若是，则删除第j个人脸ID；若否，则选取第j个人脸ID的质量分数较高的k个人脸图像，k≤t,将k个人脸图像用于人脸识别系统中的特征比对。
进一步的，步骤S4)中，还包括选择若干个指标对人脸质量评估模型进行评估。
进一步的，步骤S4)中，若干个指标包括相关性度量PLCC指标和差异性度量MAE指标。
进一步的，步骤S4)中，深度学习回归网络采用shufflenetv2网络。
本发明的有益效果是：本发明在数据标注时考虑人脸识别系统本身的运行机制，将质量分数、人脸识别算法(即特征提取算法)及人脸检测算法结合起来，利用余弦相似度和人脸置信度对数据进行标注，减少了人工标注可能引起的误差，标注速度快，标注的质量分数更符合人脸识别系统的实际使用需求，本发明利用轻量级深度学习网络shufflenetV2对人脸图像的质量分数进行回归，既保证了回归精度，又提高了人脸质量评估模型的推理性能。人脸质量评估模型的回归效果评价使用不同的指标对网络预测效果进行评价，既考虑到回归网络的差异性又考虑到图像质量评价结果的相关性，通过本发明的评价方法对训练的人脸质量评估模型进行优选。本发明对人脸图像预测的质量分数综合考虑了模糊度、姿态、完整度、光照等信息，更全面地对人脸图像进行评价。本发明能提高人脸识别系统的识别正确率和系统运行效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实施例一提供的基于轻量级回归网络的人脸图像质量评估方法的流程示意图。
图2为本实施例一提供的部分测试结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
实施例一，一种基于轻量级回归网络的人脸图像质量评估方法，如图1所示，包括如下步骤：
S1)采集人脸图像数据集，人脸图像数据集包括n个人脸ID，第i个人脸ID包括mi个不同类型的人脸图像，不同类型包括不同姿态角度、不同表情、不同光照、不同距离以及不同装饰物。设置若干个基准阈值，若干个基准阈值包括关照强度阈值、距离阈值、分辨率阈值等，根据若干个基准阈值从mi个不同类型的人脸图像中选取出一张具有正脸、正常光照、距离适中、无装饰物、正常表情、分辨率高的人脸图像，将选取的人脸图像作为第i个人脸ID的基准图片，i≤n。本实施例一使用colorferet数据集和CAS_peal数据集，colorferet数据集包含994个人脸ID，colorferet数据集中的每个人脸ID包含不同姿态角度不同表情的人脸图像。CAS_peal数据集包含1041个人脸ID，CAS_peal数据集中的每个ID包含不同光照、不同表情、不同距离、同装饰物的人脸图像。将colorferet数据集和CAS_peal数据集合并，在每一个I人脸ID中选出有正脸、正常光照、距离适中、无装饰物、正常表情的人脸图像作为基准图片，并对基准图片进行标记。
S2)利用人脸检测算法对人脸图像数据集进行数据预处理，获得预处理后的人脸图像数据集，包括以下步骤：
S21)对步骤S1)中的人脸图像数据集进行扩充，将每一张人脸图像进行不同角度旋转，将进行不同角度旋转后的人脸图像增加到人脸图像数据集，获得扩充后的人脸图像数据集。为丰富样本类型，本实施例对人脸图像数据集中的每一张人脸图像进行不同角度旋转，从而增加新的图像样本数据。
S22)利用人脸检测算法对扩充后的人脸图像数据集进行人脸检测，获得与每一张人脸图像相对应的人脸框以及人脸置信度；
S23)以人脸框中心为中心，人脸框的宽高最大值为边，剪裁出正方形人脸图像、且在剪裁过程中对人脸框进行不同方向平移和不同比例裁剪，获得剪裁后的人脸图像数据集；
S24)对剪裁后的人脸图像数据集进行扩充预处理，所述扩充预处理包括运动模糊、缩放模糊、色调变化，获得扩充预处理后的人脸图像数据集。
本实施例通过扩充预处理从而增加样本数据类型，防止网络训练出现过拟合，能够提升人脸质量评估模型效果。
S3)利用特征提取算法对预处理后的人脸图像数据集生成质量分数标签，对质量分数标签进行归一化处理，利用归一化处理后的质量分数标签对预处理后的人脸图像数据集进行标注；其中，利用特征提取算法对预处理后的人脸图像数据集生成质量分数标签，包括以下步骤：
S31)利用特征提取算法提取第i个人脸ID的基准图片的特征，将第i个人脸ID的基准图片的特征作为第i个人脸ID的基准特征yi；
S32)遍历第i个人脸ID的除基准图片外的其他若干个人脸图像，利用特征提取算法分别提取其他若干个人脸图像的特征，将其他若干个人脸图像的特征记为
Figure BDA0002722746300000081
表示第i个人脸ID的除基准图片外的第z个人脸图像的特征，v表示第i个人脸ID的除基准图片外的其他若干个人脸图像的总数；
S33)分别计算其他若干个人脸图像的特征与第i个人脸ID的基准特征之间的余弦相似度，利用人脸置信度对余弦相似度进行修正，获得第i个人脸ID的除基准图片外的第z个人脸图像的人脸质量分数
Figure BDA0002722746300000082
表示第i个人脸ID的除基准图片外的第z个人脸图像的的特征与第i个人脸ID的基准特征之间的余弦相似度，
Figure BDA0002722746300000083
为第i个人脸ID的除基准图片外的第z个人脸图像的人脸置信度。本发明将余弦相似度作为人脸图像的原始质量分数，用人脸置信度对质量分数进行修正。
S34)将步骤S33)中获得的第i个人脸ID的除基准图片外的第z个人脸图像的人脸质量分数
Figure BDA0002722746300000084
作为第i个人脸ID的除基准图片外的第z个人脸图像的质量分数标签，获得所有人脸图像的质量分数标签。
步骤S3)中，对质量分数标签进行归一化处理，利用归一化处理后的质量分数标签对预处理后的人脸图像数据集进行标注，包括将人脸质量分数小于0的质量分数标签置0，将所有人脸图像的质量分数标签转换到[0,1]数值范围内。
本实施例中，特征提取算法采用VGG网络或ins ightFace网络。
S4)将标注好归一化处理后的质量分数标签的预处理后的人脸图像数据集按比例分成训练集、验证集和测试集，建立深度学习回归网络，利用训练集、验证集和测试集分别对深度学习回归网络进行训练、验证和测试，生成人脸质量评估模型。
本实施例中，将标注好质量分数标签的人脸图像数据集按10：1：1的比例分为训练集、验证集、测试集。利用深度学习回归网络对人脸质量分数进行估计，选取shufflenetv2网络为主干网络模型，shufflenetv2网络为轻量级的网络，在人脸识别系统应用中性能上更具有优势，本实施例通过在shufflenetv2网络的全连接层的输出与质量分数标签之间计算欧式距离损失函数，不断优化模型参数。本实施例对人脸图像数据集做预处理，将预处理后的人脸图像数据集输入shufflenetv2网络，训练shufflenetv2网络，生成人脸质量评估模型。本实施例还包括选择相关性度量PLCC指标(即Pearson的线性相关系数)和差异性度量MAE(Mean Absolute Error，即平均绝对值误差)指标对人脸质量评估模型进行评估。最终获得一个表现好的人脸质量评估模型用于在人脸识别系统中进行人脸图像质量评估。
S5)获取待质量评估的人脸ID，利用人脸质量评估模型对待质量评估的人脸ID进行质量评估，获得待质量评估的人脸ID的质量评估结果，包括以下步骤：
S51)对监控视频进行人脸检测及跟踪，得到第j个人脸ID在不同时刻的若干个人脸图像，将第j个人脸ID在不同时刻的若干个人脸图像分别作为人脸质量评估模型的输入，获得与第j个人脸ID在不同时刻的若干个人脸图像分别相对应的若干个质量分数；
S52)将若干个质量分数分别记为
Figure BDA0002722746300000091
表示与第j个人脸ID在第t时刻的人脸图像相对应的质量分数，设置质量分数低阈值，判断若干个质量分数
Figure BDA0002722746300000092
是否均小于质量分数低阈值，若是，则删除第j个人脸ID；若否，则选取第j个人脸ID的质量分数较高的k个人脸图像，k≤t,将k个人脸图像用于人脸识别系统中的特征比对。
本发明将人脸质量评估模块应用于人脸识别系统中，先对监控视频进行人脸检测和跟踪，得到同一人脸ID在不同时刻的若干人脸图像，然后将人脸图像进行预处理，剪裁为正方形，输入到人脸质量评估模块，得到每张人脸图像的质量分数，若整个跟踪轨迹中所有人脸图像的质量分数都低于质量分数低阈值，则放弃该人脸ID，否则就选取质量分数较高的k个人脸图像，将质量分数较高的k个人脸图像用于人脸识别系统的特征比对。
本发明在数据标注时考虑人脸识别系统本身的运行机制，将质量分数、人脸识别算法(即特征提取算法)及人脸检测算法结合起来，利用余弦相似度和人脸置信度对数据进行标注，减少了人工标注可能引起的误差，标注速度快，标注的质量分数更符合人脸识别系统的实际使用需求，本发明利用轻量级深度学习网络shufflenetV2对人脸图像的质量分数进行回归，既保证了回归精度，又提高了人脸质量评估模型的推理性能。人脸质量评估模型的回归效果评价使用相关性度量PLCC指标和差异性度量MAE指标两类不同的指标对网络预测效果进行评价，既考虑到回归网络的差异性又考虑到图像质量评价结果的相关性，通过本发明的评价方法对训练的人脸质量评估模型进行优选。将优选的人脸质量评估模型在测试集上进行测试，部分测试结果见图2。
本发明对人脸图像预测的质量分数综合考虑了模糊度、姿态、完整度、光照等信息，更全面地对人脸图像进行评价。将人脸质量评估模块应用于人脸识别系统中，先对监控视频进行人脸检测和跟踪，得到同一人脸ID不同时刻的若干人脸图像，从监控图像中剪裁出人脸图像并输入到人脸质量评估模块，得到每个人脸图像的质量分数，若整个跟踪轨迹中所有人脸图像的质量分数都低于质量分数低阈值，则放弃该人脸ID，反之就选取质量分数较高的k个人脸图像用于人脸识别系统的特征比对。然而，若不进行质量评估，而将所有人脸图像全部用于识别，人脸识别正确率远低于加入人脸质量评估模块的人脸识别系统。本发明能提高人脸识别系统的识别正确率和系统运行效率。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (8)

1.一种基于轻量级回归网络的人脸图像质量评估方法，其特征在于，包括如下步骤：
S1)采集人脸图像数据集，所述人脸图像数据集包括n个人脸ID，第i个人脸ID包括mi个不同类型的人脸图像，从mi个不同类型的人脸图像中选取出一张人脸图像，将选取的人脸图像作为第i个人脸ID的基准图片，i≤n；
S2)利用人脸检测算法对所述人脸图像数据集进行数据预处理，获得预处理后的人脸图像数据集，所述预处理后的人脸图像数据集中包括与每一张人脸图像相对应的人脸置信度；
S3)利用特征提取算法对预处理后的人脸图像数据集生成质量分数标签、并对所述质量分数标签进行归一化处理，利用归一化处理后的质量分数标签对预处理后的人脸图像数据集进行标注；
S4)将标注好归一化处理后的质量分数标签的预处理后的人脸图像数据集按比例分成训练集、验证集和测试集，建立深度学习回归网络，利用所述训练集、验证集和测试集分别对深度学习回归网络进行训练、验证和测试，生成人脸质量评估模型；
S5)获取待质量评估的人脸ID，利用所述人脸质量评估模型对所述待质量评估的人脸ID进行质量评估，获得所述待质量评估的人脸ID的质量评估结果；
步骤S3)中，利用特征提取算法对预处理后的人脸图像数据集生成质量分数标签，包括以下步骤：
S31)利用特征提取算法提取第i个人脸ID的基准图片的特征，将第i个人脸ID的基准图片的特征作为第i个人脸ID的基准特征yi；
S32)遍历第i个人脸ID的除基准图片外的其他若干个人脸图像，利用特征提取算法分别提取其他若干个人脸图像的特征，将其他若干个人脸图像的特征记为
Figure FDA0003924495780000021
Figure FDA0003924495780000022
表示第i个人脸ID的除基准图片外的第z个人脸图像的特征，v表示第i个人脸ID的除基准图片外的其他若干个人脸图像的总数；
S33)分别计算其他若干个人脸图像的特征与第i个人脸ID的基准特征之间的余弦相似度，利用人脸置信度对余弦相似度进行修正，获得第i个人脸ID的除基准图片外的第z个人脸图像的人脸质量分数
Figure FDA0003924495780000023
Figure FDA0003924495780000024
表示第i个人脸ID的除基准图片外的第z个人脸图像的特征与第i个人脸ID的基准特征之间的余弦相似度，
Figure FDA0003924495780000025
Figure FDA0003924495780000026
为第i个人脸ID的除基准图片外的第z个人脸图像的人脸置信度；
S34)将步骤S33)中获得的第i个人脸ID的除基准图片外的第z个人脸图像的人脸质量分数
Figure FDA0003924495780000027
作为第i个人脸ID的除基准图片外的第z个人脸图像的质量分数标签，获得所有人脸图像的质量分数标签。
2.根据权利要求1所述的基于轻量级回归网络的人脸图像质量评估方法，其特征在于，步骤S1)中，所述不同类型包括不同姿态角度、不同表情、不同光照、不同距离以及不同装饰物；从mi个不同类型的人脸图像中选取出一张具有正脸、正常光照、距离适中、无装饰物、正常表情、分辨率高的人脸图像，将选取的人脸图像作为第i个人脸ID的基准图片。
3.根据权利要求1或2所述的基于轻量级回归网络的人脸图像质量评估方法，其特征在于，步骤S2)中，利用人脸检测算法对所述人脸图像数据集进行数据预处理，获得预处理后的人脸图像数据集，包括以下步骤：
S21)对步骤S1)中的人脸图像数据集进行扩充，将每一张人脸图像进行不同角度旋转，将进行不同角度旋转后的人脸图像增加到人脸图像数据集，获得扩充后的人脸图像数据集；
S22)利用人脸检测算法对扩充后的人脸图像数据集进行人脸检测，获得与每一张人脸图像相对应的人脸框以及人脸置信度；
S23)以人脸框中心为中心，人脸框的宽高最大值为边，剪裁出正方形人脸图像、且在剪裁过程中对人脸框进行不同方向平移和不同比例裁剪，获得剪裁后的人脸图像数据集；
S24)对剪裁后的人脸图像数据集进行扩充预处理，所述扩充预处理包括运动模糊、缩放模糊、色调变化，获得扩充预处理后的人脸图像数据集。
4.根据权利要求3所述的基于轻量级回归网络的人脸图像质量评估方法，其特征在于，步骤S3)中，对所述质量分数标签进行归一化处理，利用归一化处理后的质量分数标签对预处理后的人脸图像数据集进行标注，包括将人脸质量分数小于0的质量分数标签置0，将所有人脸图像的质量分数标签转换到[0,1]数值范围。
5.根据权利要求1或4所述的基于轻量级回归网络的人脸图像质量评估方法，其特征在于，步骤S5)中，获取待质量评估的人脸ID，利用所述人脸质量评估模型对所述待质量评估的人脸ID进行质量评估，获得所述待质量评估的人脸ID的质量评估结果，包括以下步骤：
S51)对监控视频进行人脸检测及跟踪，得到第j个人脸ID在不同时刻的若干个人脸图像，将所述第j个人脸ID在不同时刻的若干个人脸图像分别作为人脸质量评估模型的输入，获得与第j个人脸ID在不同时刻的若干个人脸图像分别相对应的若干个质量分数；
S52)将所述若干个质量分数分别记为
Figure FDA0003924495780000031
Figure FDA0003924495780000032
表示与第j个人脸ID在第t时刻的人脸图像相对应的质量分数，设置质量分数低阈值，判断若干个质量分数
Figure FDA0003924495780000033
是否均小于质量分数低阈值，若是，则删除所述第j个人脸ID；若否，则选取第j个人脸ID的质量分数较高的k个人脸图像，k≤t,将所述k个人脸图像用于人脸识别系统中的特征比对。
6.根据权利要求1所述的基于轻量级回归网络的人脸图像质量评估方法，其特征在于，步骤S4)中，还包括选择若干个指标对人脸质量评估模型进行评估。
7.根据权利要求6所述的基于轻量级回归网络的人脸图像质量评估方法，其特征在于，步骤S4)中，所述若干个指标包括相关性度量PLCC指标和差异性度量MAE指标。
8.根据权利要求6所述的基于轻量级回归网络的人脸图像质量评估方法，其特征在于，步骤S4)中，所述深度学习回归网络采用shufflenetv2网络。
CN202011092873.1A 2020-10-13 2020-10-13 一种基于轻量级回归网络的人脸图像质量评估方法 Active CN112215822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011092873.1A CN112215822B (zh) 2020-10-13 2020-10-13 一种基于轻量级回归网络的人脸图像质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011092873.1A CN112215822B (zh) 2020-10-13 2020-10-13 一种基于轻量级回归网络的人脸图像质量评估方法

Publications (2)

Publication Number Publication Date
CN112215822A CN112215822A (zh) 2021-01-12
CN112215822B true CN112215822B (zh) 2023-04-07

Family

ID=74054083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011092873.1A Active CN112215822B (zh) 2020-10-13 2020-10-13 一种基于轻量级回归网络的人脸图像质量评估方法

Country Status (1)

Country Link
CN (1) CN112215822B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686234B (zh) * 2021-03-22 2021-06-22 杭州魔点科技有限公司 人脸图像质量评估方法、电子设备和存储介质
CN113192028B (zh) * 2021-04-29 2022-05-31 合肥的卢深视科技有限公司 人脸图像的质量评价方法、装置、电子设备及存储介质
CN113344916A (zh) * 2021-07-21 2021-09-03 上海媒智科技有限公司 机器学习模型能力的获取方法、系统、终端、介质及应用
CN113591818A (zh) * 2021-09-30 2021-11-02 广州思林杰科技股份有限公司 一种人脸等级分类器的构建方法及装置
CN114003752B (zh) * 2021-11-24 2022-11-15 重庆邮电大学 基于粒球人脸聚类图像质量评估的数据库精简方法及系统
CN115620107A (zh) * 2022-11-07 2023-01-17 国网江西省电力有限公司电力科学研究院 一种基于深度学习的变电站涉鸟故障相关鸟种识别方法
CN117372405A (zh) * 2023-10-31 2024-01-09 神州通立电梯有限公司 人脸图像质量评估方法、装置、存储介质及设备
CN117275076B (zh) * 2023-11-16 2024-02-27 厦门瑞为信息技术有限公司 基于特征的人脸质量评估模型的构建方法及应用

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020147257A1 (zh) * 2019-01-16 2020-07-23 平安科技（深圳）有限公司 一种人脸识别方法和装置
WO2020155627A1 (zh) * 2019-01-31 2020-08-06 北京市商汤科技开发有限公司 人脸图像识别方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427888A (zh) * 2019-08-05 2019-11-08 北京深醒科技有限公司 一种基于特征聚类的人脸质量评估方法
CN111369521A (zh) * 2020-03-02 2020-07-03 名创优品（横琴）企业管理有限公司 一种基于图像质量的图像过滤方法和相关装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020147257A1 (zh) * 2019-01-16 2020-07-23 平安科技（深圳）有限公司 一种人脸识别方法和装置
WO2020155627A1 (zh) * 2019-01-31 2020-08-06 北京市商汤科技开发有限公司 人脸图像识别方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Transfer Network for Uncocnstrained Face Verification;Yue Cao等;《ICDLT‘18：Proceedings of the 2018 2nd International Conference on Deep Learning Technologies》;20180630;全文 *
基于生物特征的人脸图像质量评价与增强;孙可嘉;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20190115;全文 *

Also Published As

Publication number Publication date
CN112215822A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112215822B (zh) 一种基于轻量级回归网络的人脸图像质量评估方法
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN110807434B (zh) 一种基于人体解析粗细粒度结合的行人重识别系统及方法
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
CN110555475A (zh) 一种基于语义信息融合的少样本目标检测方法
WO2022142445A1 (zh) 模型训练方法、图像质量评估方法及装置
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN111783576A (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN109472226B (zh) 一种基于深度学习的睡觉行为检测方法
CN114266977B (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN112949408B (zh) 一种过鱼通道目标鱼类实时识别方法和系统
CN111524164B (zh) 一种目标跟踪方法、装置及电子设备
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN111563452A (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN110858276A (zh) 一种识别模型与验证模型相结合的行人重识别方法
CN112446900A (zh) 孪生神经网络目标跟踪方法及系统
CN116977937A (zh) 一种行人重识别的方法及系统
CN110751005B (zh) 融合深度感知特征和核极限学习机的行人检测方法
CN115457620A (zh) 用户表情识别方法、装置、计算机设备及存储介质
CN114913086A (zh) 基于生成对抗网络的人脸图像质量增强方法
CN113870311A (zh) 一种基于深度学习的单目标跟踪方法
CN117726977B (zh) 基于dcnn的实验操作关键节点评分方法和系统
CN110503663B (zh) 一种基于抽帧检测的随机多目标自动检测跟踪方法
CN118038494A (zh) 一种损坏场景鲁棒的跨模态行人重识别方法
CN115061574B (zh) 一种基于视觉核心算法的人机交互系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant