CN112270269B - 一种人脸图像质量的评估方法及装置 - Google Patents

一种人脸图像质量的评估方法及装置 Download PDF

Info

Publication number
CN112270269B
CN112270269B CN202011184680.9A CN202011184680A CN112270269B CN 112270269 B CN112270269 B CN 112270269B CN 202011184680 A CN202011184680 A CN 202011184680A CN 112270269 B CN112270269 B CN 112270269B
Authority
CN
China
Prior art keywords
face
output
evaluated
face image
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011184680.9A
Other languages
English (en)
Other versions
CN112270269A (zh
Inventor
欧阳潘义
吴红
张亦弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Original Assignee
Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Happly Sunshine Interactive Entertainment Media Co Ltd filed Critical Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Priority to CN202011184680.9A priority Critical patent/CN112270269B/zh
Publication of CN112270269A publication Critical patent/CN112270269A/zh
Application granted granted Critical
Publication of CN112270269B publication Critical patent/CN112270269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种人脸图像质量的评估方法及装置，其中，方法包括：获取待评估人脸图像，将待评估人脸图像输入训练后的人脸识别神经网络模型；获取全连接层的输入特征和输出特征；将输入特征至少一次输入预设的随机子网络模型，得到随机子网络模型至少一次输出的特征，其中，随机子网络模型的权重矩阵为所述全连接层的权重矩阵与目标矩阵进行点乘得到。基于至少一次输出的特征与所述输出特征间的距离，计算用于表征待评估人脸图像质量的得分。本申请解决现有技术中由于人脸图像质量的评估结果受标注数据影响较大，或者，进行人脸图像质量评估所使用的因素与人脸特征间的差异较大，所导致的人脸图像质量的评估准确性低的问题。

Description

一种人脸图像质量的评估方法及装置
技术领域
本申请涉及人脸识别领域，尤其涉及一种人脸图像质量的评估方法及装置。
背景技术
对视频中人脸的识别是视频内容理解的重要组成部分，其中，对视频中人脸的识别一般包括：人脸检测、人脸跟踪或聚类、人脸质量评估、人脸识别等模块及流程。其中，人脸检测模块将视频帧中含有人脸的位置截取出来。人脸跟踪模块识别同一个人的连续多个人脸框图像，得到人脸跟踪流或者聚类簇。其中，由于一个人脸跟踪流或者聚类簇中，含有多张人脸图像，人脸质量评估模块选择人脸特征质量最好的一张人脸图像输入人脸识别模块。人脸识别模块抽取人脸图像中的人脸特征，并利用抽取的人脸特征与库中的人脸特征进行比对，当抽取的人脸特征与库中人脸特征间的相似性满足一定阈值时识别完成。
目前，对人脸图像质量的评估方法包括两类，其中，一类是通过分析人脸图像中的光照、背景、模糊度和分辨率等因素，判断人脸图像的质量。由于该方法评估的是人脸图像的质量，与人脸识别所需的人脸质量之间存在较大的差异，即对人脸图像质量的评估准确性较低。另一类是依据大量人工标注的人脸图像数据，通过监督训练得到人脸图像质量评估模型。但是，由于人脸图像质量评估模型对人脸图像质量的评估结果受训练数据的质量影响较大，使得人脸图像质量评估准确性较低。
发明内容
本申请提供了一种人脸图像质量的评估方法及装置，目的在于解决人脸图像质量的评估准确性低的问题。
为了实现上述目的，本申请提供了以下技术方案：
本申请提供了一种人脸图像质量的评估方法，包括：
获取待评估人脸图像；
将所述待评估人脸图像输入训练后的人脸识别神经网络模型；所述人脸识别神经网络模型包括全连接层；对所述人脸识别神经网络模型的训练过程中采用了dropout技术；
获取所述全连接层的输入特征和输出特征；所述输出特征包含所述待评估人脸图像中的人脸特征；
将所述输入特征至少一次输入预设的随机子网络模型，得到所述随机子网络模型至少一次输出的特征；所述随机子网络模型由包含一个隐含层的神经网络层构成；所述隐含层的权重矩阵为所述全连接层的权重矩阵与目标矩阵进行点乘得到；所述目标矩阵中每个元素的取值为0或1；其中，任一元素取值为0的概率为预设概率；
基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分。
可选的，所述至少一次为多次；所述基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分，包括：
分别计算所述随机子网络模型每次输出的特征与所述输出特征间的欧式距离；
计算所述欧式距离的平均值，得到平均距离；
通过sigmoid函数，将所述平均距离转换为所述得分。
可选的，在所述基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分之后，还包括：
在所述待评估人脸图像为多帧的情况下，依据每个待评估人脸图像的得分，确定用于进行人脸识别的输出特征；
通过预设的人脸识别模块，对所述用于进行人脸识别的输出特征进行人脸识别。
可选的，所述依据每个待评估人脸图像的得分，确定用于进行人脸识别的输出特征，包括：
将所述训练后的人脸识别神经网络模型的全连接层针对每个待评估人脸图像的输出特征中，得分最高的人脸图像对应的输出特征，作为用于进行人脸识别的输出特征。
可选的，所述预设概率的取值为0.5。
本申请还提供了一种人脸图像质量的评估装置，包括：
第一获取模块，用于获取待评估人脸图像；
第一输入模块，用于将所述待评估人脸图像输入训练后的人脸识别神经网络模型；所述人脸识别神经网络模型包括全连接层；对所述人脸识别神经网络模型的训练过程中采用了dropout技术；
第二获取模块，用于获取所述全连接层的输入特征和输出特征；所述输出特征包含所述待评估人脸图像中的人脸特征；
第二输入模块，用于将所述输入特征至少一次输入预设的随机子网络模型，得到所述随机子网络模型至少一次输出的特征；所述随机子网络模型由包含一个隐含层的神经网络层构成；所述隐含层的权重矩阵为所述全连接层的权重矩阵与目标矩阵进行点乘得到；所述目标矩阵中每个元素的取值为0或1；其中，任一元素取值为0的概率为预设概率；
计算模块，用于基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分。
可选的，所述至少一次为多次；所述计算模块，用于基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分，包括：
所述计算模块，具体用于分别计算所述随机子网络模型每次输出的特征与所述输出特征间的欧式距离；计算所述欧式距离的平均值，得到平均距离；通过sigmoid函数，将所述平均距离转换为所述得分。
可选的，所述装置还包括：
识别模块，用于在所述计算模块基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分之后，在所述待评估人脸图像为多帧的情况下，依据每个待评估人脸图像的得分，确定用于进行人脸识别的输出特征；通过预设的人脸识别模块，对所述用于进行人脸识别的输出特征进行人脸识别。
可选的，所述识别模块，用于依据每个待评估人脸图像的得分，确定用于进行人脸识别的输出特征，包括：
所述识别模块，具体用于将所述训练后的人脸识别神经网络模型的全连接层针对每个待评估人脸图像的输出特征中，得分最高的人脸图像对应的输出特征，作为用于进行人脸识别的输出特征。
可选的，所述预设概率的取值为0.5。
本申请所述的人脸图像质量的评估方法及装置，将待评估人脸图像输入训练后的人脸识别神经网络模型，由于对人脸识别神经网络模型进行训练过程中采用了dropout技术，因此，对于人脸质量较好的人脸图像，训练后的人脸识别神经网络模型的全连接层输出的特征，与，训练后的人脸识别神经网络模型中某些神经元权重置0的全连接层所输出的特征之间，鲁棒性较好。
本申请中，由于随机子网络模型由包含一个隐含层的神经网络层构成；其中，隐含层的权重矩阵为全连接层的权重矩阵与目标矩阵进行点乘得到，并且，目标矩阵中每个元素的取值为0或1，其中，任一元素取值为0的概率为预设概率，即随机子网络模型类似于训练后的人脸识别神经网络模型中，某些神经元权重置0的全连接层。
在本申请中，由于随机子网络模型的输入特征与人脸识别神经网络模型的全连接层的输入特征相同，因此，如果待评估人脸图像的质量越好，随机子网络模型至少一次输出的特征，与人脸识别神经网络模型的全连接层输出的特征间的距离越小。因此，本申请基于随机子网络模型至少一次输出的特征，与，训练后的人脸识别神经网络模型的全连接层输出的特征间的距离，可以计算得到用于表征所述待评估人脸图像质量的得分，从而，实现对人脸图像中人脸质量的评估。
综上所述，可以看出，本申请对人脸图像质量的评估无需标注数据，同时，是针对人脸图像中的人脸质量进行评估，因此，本申请可以解决现有技术中由于人脸图像质量的评估结果受标注数据影响较大，或者，进行人脸图像质量评估所使用的因素与人脸特征间的差异较大，所导致的人脸图像质量的评估准确性低的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种人脸图像质量的评估方法的应用场景示意图；
图2为本申请实施例公开的一种人脸图像质量的评估方法的流程图；
图3为本申请实施例公开的一种随机子网络模型的结构示意图；
图4为本申请实施例公开的一种人脸图像质量的评估装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种人脸图像质量的评估方法的应用场景示意图，包括：人脸检测模块、人脸跟踪模块、人脸质量评估模块和人脸识别模块。其中，人脸检测模块与人脸跟踪模块连接，人脸跟踪模块与人脸质量评估模块连接，人脸质量评估模块与人脸识别模块连接。其中，人脸检测模块用于检测视频中的人脸区域，并将检测到的人脸区域进行截取，截取得到人脸图像。人脸跟踪模块用于识别人脸检测模块截取得到的人脸图像中，同一个人的连续多帧人脸图像，得到人脸跟踪流或者聚类簇。人脸质量评估模块用于评估人脸跟踪流或者聚类簇中各人脸图像的质量，以便人脸识别模块对质量最优的人脸图像进行识别。
在本申请实施例中，人脸质量评估模块对输入的每帧待评估人脸图像进行质量评估，其中，对每帧待评估人脸图像进行质量评估的实现方式相同，为了描述方便，以任意一帧待评估人脸图像为例进行介绍。
图2为本申请实施例提供的一种人脸图像质量的评估方法，执行主体为图1中的人脸图像质量评估模块，可以包括以下步骤：
S201、获取待评估人脸图像。
在本步骤中，获取的待评估人脸图像为人脸跟踪模块生成的人脸跟踪流或聚类簇中的人脸图像。为了方便介绍，本实施例以人脸跟踪流或聚类簇中的一帧人脸图像作为待评估人脸图像进行介绍。
S202、将待评估人脸图像输入训练后的人脸识别神经网络模型。
在本实施例中，人脸识别神经网络模型包括全连接层，对于输入该的人脸识别模型的人脸图像，该人脸识别神经网络模型的全连层的输出为人脸图像中的人脸特征。在本实施例中，人脸识别神经网络模型可以为arcface人脸识别模型，当然，在实际中，人脸识别神经网络模型还可以为除arcface人脸识别模型之外的其他神经网络模型，本实施例不对人脸识别神经网络模型的具体形式作限定。
需要说明的是，在本实施例中，在得到训练后的人脸识别神经网络模型的训练过程中，采用了dropout技术。
S203、获取全连接层的输入特征和输出特征。
在本实施例中，将待评估人脸图像输入训练后的人脸识别神经网络模型后，人脸识别神经网络模型的全连接层的输入特征为人脸识别神经网络模型中，全连接层的前一层的输出特征。
在本步骤中，全连接层的输出特征包含待评估人脸图像中的人脸特征。
在本实施例中，假设全连接层的输入特征采用I表示，输出特征采用x表示，全连接层的权重矩阵采用W表示，则I、x与W之间的关系如公式(1)所示。
x＝W·I                                 (1)
S204、将输入特征至少一次输入预设的随机子网络模型，得到随机子网络模型至少一次输出的特征。
在本实施例中，随机子网络模型由包含一个隐含层的神经网络层构成，具体的，随机子网络模型的结构如图3所示。在图3中，各圆圈(实线和虚线圆圈)代表神经元。其中，随机子网络模型的输出为从输入中提取的人脸特征。
在本实施例中，随机子网络模型的权重矩阵为训练后的人脸识别神经网络模型的全连接层的权重矩阵与目标矩阵进行点乘得到。其中，目标矩阵中每个元素的取值为0或1；其中，任一元素取值为0的概率为预设概率，使得随机子网络模型类似于训练后的人脸识别模型中某些神经元置0的全连接层。
在本实施例中，假设目标矩阵采用D表示，则随机子网络模型的隐含层的权重矩阵则可以表示为D⊙W。对于将训练后的人脸识别神经网络模型的全连接层的输入特征输入随机子网络模型后，随机子网络模型输出的特征x′的表达式如公式(2)所示。
x′＝(D⊙W)·I                    (2)
其中，目标矩阵D的维度与全连接层的权重矩阵W的维度相同，⊙表示点乘，具体表示目标矩阵D与全连接层的权重矩阵W的对应元素相乘。
在本实施例中，由于目标矩阵中每个元素的取值为0或1，其中，取值为0的概率为预设概率，可选的，预设概率的取值可以为0.5，当然，在实际中，预设概率的取值还可以为其他值，本实施例不对预设概率的取值作限定。
以图3所示的随机子网络模型为例，在目标矩阵中的某个元素的取值为0的情况下，随机子网络模型的隐含层中对应神经元的权重为0，对应于图3中的一个虚线圆圈。
在本步骤中，将输入特征至少一次输入随机子网络模型，对于每次输入随机子网络模型的输入特征，都是按照公式(2)进行计算，得到每次的输出，因此，得到至少一次输出。
可选的，在本实施例中，至少一次的具体取值可以为多次，例如，为100次，当然，在实际中，至少一次的具体取值还可以为除100之外的其他数值，本实施例不对至少一次的具体取值作限定。
S205、基于至少一次输出的特征与训练后的人脸识别神经网络模型的全连接层输出特征间的距离，计算用于表征待评估人脸图像质量的得分。
可选的，本步骤的具体实现方式可以包括以下步骤A1～步骤A3：
A1、分别计算每次输出的特征与训练后的人脸识别神经网络模型的全连接层的输出特征间的欧式距离。
以第i次向随机子网络模型输入特征为例，随机子网络模型在第i次输出的特征可以采用xi表示，训练后的人脸识别神经网络模型的全连接层的输出特征可以采用x表示，则第i次输出的特征与全连接层的输出特征间的欧式距离如公式(3)所示。
Figure BDA0002753355970000081
式中，k表示输出特征中的元素，m表示输出特征中元素的总数量，xik表示随机子网络模型第i次输出的特征中的第k个元素的取值，xk表示训练后的人脸识别神经网络模型的全连接层的输出特征中对应第k个元素的取值。
A2、计算欧式距离的平均值，得到平均距离。
在本步骤中，计算随机子网络模型每次输出的特征分别与训练后的人脸识别神经网络模型输出的特征间的欧式距离的平均值，得到平均距离。
A3、通过sigmoid函数，将平均距离转换为得分。
本步骤的计算方式如公式(4)所示。
Figure BDA0002753355970000091
式中，q表示待评估人脸图像的得分，n表示向随机子网络模型输入特征的次数，σ表示Sigmoid函数，具体表达式为
Figure BDA0002753355970000092
其中，λ为sigmoid函数系数，一般取值-1，
Figure BDA0002753355970000093
表示平均距离。
S206、在待评估人脸图像为多帧的情况下，依据每个待评估人脸图像的得分，确定用于进行人脸识别的输出特征。
在本实施例中，需要对人脸跟踪流或聚类簇中的每个人脸图像进行质量评估，一般情况下，人脸跟踪流或聚类簇包括多帧人脸图像，因此，待评估人脸图像一般为多帧。在本申请实施例中，需要按照上述S201～S205分别计算每帧人脸图像进行质量评估，得到每帧待评估人脸图像的得分。
其中，对于每帧待评估人脸图像进行人脸质量评估的过程中，分别将每帧待评估人脸图像输入训练后的人脸识别神经网络模型，得到全连接层的输出特征，即针对每帧待评估人脸图像，分别对应有训练后的人脸识别模型的全连接层的输出特征。在本步骤中，可以将人脸跟踪流或聚类簇中得分最高的人脸图像对应的输出特征，作为用于对人脸跟踪流或聚类簇进行人脸识别的输出特征。
S207、将用于进行人脸识别的输出特征，输入预设的人脸识别模块。
在本实施例中，将用于人脸识别的输出特征输入人脸识别模块后，人脸识别模块用于将输出特征与预设特征库中的人脸特征进行对比，从而实现人脸识别。在实际中，人脸识别模块可以为神经网络模型，当然，也可以非神经网络模型，本实施例不对人脸识别模块的具体形式作限定。
需要说明的是，在本实施例中，上述S206～S207是可选步骤。
图4为本申请实施例提供的一种人脸图像质量的评估装置，可以包括：第一获取模块401、第一输入模块402、第二获取模块403、第二输入模块404和计算模块405，其中，
第一获取模块401，用于获取待评估人脸图像；
第一输入模块402，用于将所述待评估人脸图像输入训练后的人脸识别神经网络模型；所述人脸识别神经网络模型包括全连接层；对所述人脸识别神经网络模型的训练过程中采用了dropout技术；
第二获取模块403，用于获取所述全连接层的输入特征和输出特征；所述输出特征包含所述待评估人脸图像中的人脸特征；
第二输入模块404，用于将所述输入特征至少一次输入预设的随机子网络模型，得到所述随机子网络模型至少一次输出的特征；所述随机子网络模型由包含一个隐含层的神经网络层构成；所述隐含层的权重矩阵为所述全连接层的权重矩阵与目标矩阵进行点乘得到；所述目标矩阵中每个元素的取值为0或1；其中，任一元素取值为0的概率为预设概率；
计算模块405，用于基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分。
可选的，所述至少一次为多次；所述计算模块405，用于基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分，包括：
所述计算模块405，具体用于分别计算所述随机子网络模型每次输出的特征与所述输出特征间的欧式距离；计算所述欧式距离的平均值，得到平均距离；通过sigmoid函数，将所述平均距离转换为所述得分。
可选的，所述装置还包括：
识别模块，用于在所述计算模块405基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分之后，在所述待评估人脸图像为多帧的情况下，依据每个待评估人脸图像的得分，确定用于进行人脸识别的输出特征；通过预设的人脸识别模块，对所述用于进行人脸识别的输出特征进行人脸识别。
可选的，所述识别模块，用于依据每个待评估人脸图像的得分，确定用于进行人脸识别的输出特征，包括：
所述识别模块，具体用于将所述训练后的人脸识别神经网络模型的全连接层针对每个待评估人脸图像的输出特征中，得分最高的人脸图像对应的输出特征，作为用于进行人脸识别的输出特征。
可选的，所述预设概率的取值为0.5。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种人脸图像质量的评估方法，其特征在于，包括：
获取待评估人脸图像；
将所述待评估人脸图像输入训练后的人脸识别神经网络模型；所述人脸识别神经网络模型包括全连接层；对所述人脸识别神经网络模型的训练过程中采用了dropout技术；
获取所述全连接层的输入特征和输出特征；所述输出特征包含所述待评估人脸图像中的人脸特征；
将所述输入特征至少一次输入预设的随机子网络模型，得到所述随机子网络模型至少一次输出的特征；所述随机子网络模型由包含一个隐含层的神经网络层构成；所述隐含层的权重矩阵为所述全连接层的权重矩阵与目标矩阵进行点乘得到；所述目标矩阵中每个元素的取值为0或1；其中，任一元素取值为0的概率为预设概率；
基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分；
所述至少一次为多次；
所述基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分，包括：
分别计算所述随机子网络模型每次输出的特征与所述输出特征间的欧式距离；
计算所述欧式距离的平均值，得到平均距离；
通过sigmoid函数，将所述平均距离转换为所述得分。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分之后，还包括：
在所述待评估人脸图像为多帧的情况下，依据每个待评估人脸图像的得分，确定用于进行人脸识别的输出特征；
通过预设的人脸识别模块，对所述用于进行人脸识别的输出特征进行人脸识别。
3.根据权利要求2所述的方法，其特征在于，所述依据每个待评估人脸图像的得分，确定用于进行人脸识别的输出特征，包括：
将所述训练后的人脸识别神经网络模型的全连接层针对每个待评估人脸图像的输出特征中，得分最高的人脸图像对应的输出特征，作为用于进行人脸识别的输出特征。
4.根据权利要求1所述的方法，其特征在于，所述预设概率的取值为0.5。
5.一种人脸图像质量的评估装置，其特征在于，包括：
第一获取模块，用于获取待评估人脸图像；
第一输入模块，用于将所述待评估人脸图像输入训练后的人脸识别神经网络模型；所述人脸识别神经网络模型包括全连接层；对所述人脸识别神经网络模型的训练过程中采用了dropout技术；
第二获取模块，用于获取所述全连接层的输入特征和输出特征；所述输出特征包含所述待评估人脸图像中的人脸特征；
第二输入模块，用于将所述输入特征至少一次输入预设的随机子网络模型，得到所述随机子网络模型至少一次输出的特征；所述随机子网络模型由包含一个隐含层的神经网络层构成；所述隐含层的权重矩阵为所述全连接层的权重矩阵与目标矩阵进行点乘得到；所述目标矩阵中每个元素的取值为0或1；其中，任一元素取值为0的概率为预设概率；
计算模块，用于基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分；
所述至少一次为多次；
所述计算模块，用于基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分，包括：
所述计算模块，具体用于分别计算所述随机子网络模型每次输出的特征与所述输出特征间的欧式距离；计算所述欧式距离的平均值，得到平均距离；通过sigmoid函数，将所述平均距离转换为所述得分。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
识别模块，用于在所述计算模块基于所述至少一次输出的特征与所述输出特征间的距离，计算用于表征所述待评估人脸图像质量的得分之后，在所述待评估人脸图像为多帧的情况下，依据每个待评估人脸图像的得分，确定用于进行人脸识别的输出特征；通过预设的人脸识别模块，对所述用于进行人脸识别的输出特征进行人脸识别。
7.根据权利要求6所述的装置，其特征在于，所述识别模块，用于依据每个待评估人脸图像的得分，确定用于进行人脸识别的输出特征，包括：
所述识别模块，具体用于将所述训练后的人脸识别神经网络模型的全连接层针对每个待评估人脸图像的输出特征中，得分最高的人脸图像对应的输出特征，作为用于进行人脸识别的输出特征。
8.根据权利要求5所述的装置，其特征在于，所述预设概率的取值为0.5。
CN202011184680.9A 2020-10-30 2020-10-30 一种人脸图像质量的评估方法及装置 Active CN112270269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011184680.9A CN112270269B (zh) 2020-10-30 2020-10-30 一种人脸图像质量的评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011184680.9A CN112270269B (zh) 2020-10-30 2020-10-30 一种人脸图像质量的评估方法及装置

Publications (2)

Publication Number Publication Date
CN112270269A CN112270269A (zh) 2021-01-26
CN112270269B true CN112270269B (zh) 2023-04-18

Family

ID=74344703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011184680.9A Active CN112270269B (zh) 2020-10-30 2020-10-30 一种人脸图像质量的评估方法及装置

Country Status (1)

Country Link
CN (1) CN112270269B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138922A1 (en) * 2016-04-15 2019-05-09 Cambricon Technologies Corporation Limited Apparatus and methods for forward propagation in neural networks supporting discrete data
CN109360183B (zh) * 2018-08-20 2021-05-11 中国电子进出口有限公司 一种基于卷积神经网络的人脸图像质量评估方法和系统
CN109635686B (zh) * 2018-11-29 2021-04-23 上海交通大学 结合人脸与外观的两阶段行人搜索方法
US20200342288A1 (en) * 2019-04-23 2020-10-29 Microsoft Technology Licensing, Llc Direct computation with compressed weight in training deep neural network
CN110879981B (zh) * 2019-11-14 2023-07-28 深圳华付技术股份有限公司 人脸关键点质量评估方法、装置、计算机设备及存储介质
CN111126258B (zh) * 2019-12-23 2023-06-23 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111582150B (zh) * 2020-05-07 2023-09-05 江苏日颖慧眼智能设备有限公司 一种人脸质量评估的方法、装置和计算机存储介质
CN111461089B (zh) * 2020-06-17 2020-09-15 腾讯科技（深圳）有限公司 一种人脸检测的方法、人脸检测模型的训练方法及装置

Also Published As

Publication number Publication date
CN112270269A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN106415594B (zh) 用于面部验证的方法和系统
CN109344731B (zh) 基于神经网络的轻量级的人脸识别方法
CN110378324B (zh) 一种基于质量维度的人脸识别算法评估方法
Dimokranitou Adversarial autoencoders for anomalous event detection in images
CN109977895B (zh) 一种基于多特征图融合的野生动物视频目标检测方法
CN110866530A (zh) 一种字符图像识别方法、装置及电子设备
WO2021082562A1 (zh) 活体检测方法、装置、电子设备、存储介质及程序产品
WO2022166532A1 (zh) 人脸识别方法、装置、电子设备及存储介质
CN110580510A (zh) 一种聚类结果评价方法和系统
CN114332500A (zh) 图像处理模型训练方法、装置、计算机设备和存储介质
CN115801374A (zh) 网络入侵数据分类方法、装置、电子设备及存储介质
CN116662817A (zh) 物联网设备的资产识别方法及系统
CN111694954A (zh) 图像分类方法、装置和电子设备
CN108519993B (zh) 基于多数据流计算的社交网络热点事件检测方法
Sekhar V et al. Online signature verification based on writer specific feature selection and fuzzy similarity measure
Abdallah et al. Facial-expression recognition based on a low-dimensional temporal feature space
CN112270269B (zh) 一种人脸图像质量的评估方法及装置
CN112948578A (zh) 一种dga域名开集分类方法、装置、电子设备及介质
CN112818774A (zh) 一种活体检测方法及装置
CN108596068B (zh) 一种动作识别的方法和装置
CN111738194A (zh) 一种用于人脸图像相似性的评价方法和装置
Salman et al. Deep Learning Machine using Hierarchical Cluster Features
Niu et al. MFNet‐LE: Multilevel fusion network with Laplacian embedding for face presentation attacks detection
CN110147790B (zh) 基于自适应阈值的场景图像商标检测方法、系统、装置
Shekar et al. Blockwise binary pattern: a robust and an efficient approach for offline signature verification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant