CN117275076B - 基于特征的人脸质量评估模型的构建方法及应用 - Google Patents
基于特征的人脸质量评估模型的构建方法及应用 Download PDFInfo
- Publication number
- CN117275076B CN117275076B CN202311523567.2A CN202311523567A CN117275076B CN 117275076 B CN117275076 B CN 117275076B CN 202311523567 A CN202311523567 A CN 202311523567A CN 117275076 B CN117275076 B CN 117275076B
- Authority
- CN
- China
- Prior art keywords
- face
- quality
- training
- neural network
- quality assessment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000013441 quality evaluation Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 23
- 238000003062 neural network model Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000003121 nonmonotonic effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 21
- 238000012733 comparative method Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于特征的人脸质量评估模型的构建方法及应用，方法包括：A、获取指定数量的标记有人脸身份类别信息的人脸数字图像作为训练数据集；B基于amsoftmax损失函数，利用训练数据集对脸识别神经网络进行训练，获取训练后的模型；C、在人脸识别模型输出的后端加入质量模块Q，构建质量评估模块；D、基于自适应质量评估损失函数，利用训练数据集对质量模块Q进行训练，获取训练后的人脸质量评估模型。本发明基于人脸识别特征，采用自适应质量评估损失函数，有效的发掘人脸图像之间的信息，高效的建模人脸数字图像在参与比对匹配过程中的质量关系对比对分数的影响，以此获取一种基于特征的人脸质量评估模型。
Description
技术领域
本发明涉及计算机视觉的技术领域，特别是指一种基于特征的人脸质量评估模型的构建方法及应用。
背景技术
随着深度学习的发展，人工智能技术取得了重大进步。深度神经网络通过对大量标注数据进行学习，优化网络参数，构建复杂的计算模型，学习数据内在的特征表达。但是，在很多非受控环境下，由于光照、极端天气、传感器成像差异等复杂情况，深度神经网络无法针对单一数据源预测复杂场景下的潜在变化，使得人工智能系统的可信赖度降低。针对非受控抓拍环境下，如何筛选高质量的数字图像提供给深度神经网络进行推理预测便成为了很多领域当前亟待解决的重要问题之一。
发明内容
本发明的目的在于，克服现有技术的不足，提供一种基于特征的人脸质量评估模型的构建方法，有效筛选高质量的人脸数字图像，提升人脸识别比对、匹配时的性能。
为了达成上述目的，本发明的采用的技术方案是：
一种基于特征的人脸质量评估模型的构建方法，其包括以下步骤：
A、获取指定数量的标记有人脸身份类别信息的人脸数字图像作为训练数据集；
B、基于amsoftmax损失函数，利用所述的训练数据集对一个人脸识别神经网络进行训练，然后获取训练后的模型；
C、利用步骤B所获取的人脸识别模型，在其输出的后端加入一个质量模块Q，构建质量评估模块；
D、基于自适应质量评估损失函数，利用所述的训练数据集对C阶段构建的质量模块Q进行训练，获取训练后的基于特征的人脸质量评估模型。
优选地，所述步骤B，包括：
B1、定义为输入人脸图像，利用人脸识别神经网络模型/>可以得到人脸识别网络的输出为/>,定义人脸识别网络的人脸特征向量输出为,其中/>,/>为特征向量维度，/>为全连接操作；
B2、利用所述的训练数据集，通过amsoftmax损失函数监督训练后，可以获取人脸识别神经网络模型和全连接操作/>的参数。
优选地，所述步骤C，包括：
C1、在人脸识别神经网络模型的输出/>后端加入构建质量模块Q；
C2、定义质量模块输出,其中/>，对于一张输入图像/>,其质量分数/>越高，代表着该图像对应的人脸特征向量的可靠性越高；
C3、质量模块Q包含一个输出长度为的全连接层、一个ReLU激活函数、一个输出长度为1的全连接层和一个sigmoid激活函数，依次顺序连接。
优选地，所述步骤D，包括：
D1、给定输入人脸图像和/>，其样本类别标签分别为/>和/>，获得人脸特征向量分别为/>和/>，图像质量分数分别为/>和；因此，定义自适应质量评估损失函数为：
其中，表示所述训练数据集中满足条件的样本总数，/>表示特征/>和/>之间的余弦距离，定义为：
表示特征向量/>的L2范数(L2-Norm)；
D2、将D1的函数作为损失函数，利用所述的训练数据集，根据随机梯度下降的反向传播算法，更新步骤C中所述的质量模块Q的模型参数，获得基于特征的人脸质量评估模型。
优选地，所述步骤D2，还包括：
D21、鉴于神经网络训练采用批量的随机梯度下降方法，因此D1所述损失函数要求每个批量数据中，需要包含类别标签相同的样本；
D22、鉴于D1所提出的损失函数为非单调函数，其单调区间分别为和，质量分数/>，因此在训练过程中，对网络输出质量分数都进行加0.5的操作，保证D1提出的损失函数位于单调区间。
优选地，所述步骤D21采用基于标签循环的有放回数据的采样方法，其包括以下步骤：
D211、加载训练数据集全部标签，并将标签数据随机打乱并构成循环队列；
D212、从打乱标签列表中按照顺序依次采样P个标签，每个标签下随机采样K个样本，采样方式为有放回的随机采样，则每个批次的样本总数为个样本，构成训练神经网络时所需的批量数据。
优选地，步骤D2中，基于特征的人脸质量评估模型的判断方法为：获取指定数量的标记有人脸身份信息标签的人脸数字图像，并且根据人脸身份信息标签，构建测试的正样本对和负样本对，作为测试数据集，利用D2所述的基于特征的人脸质量评估模型对所有测试数据集中的人脸数字图像提取特征并提取质量分数，利用提取到的特征计算测试数据集各个样本对的余弦距离，并对质量分数特别低的样本的余弦距离进行自适应修正处理，各样本对包括人脸数字图像和/>，其对应的人脸特征向量为/>和/>，其对应的质量分数/>和，则计算比对分数的方式为
其中为人工设置的质量阈值；根据正负样本对的余弦距离，利用接受者操作特征曲线(Receiver Operating Characteristic curve)评估所述的基于特征的人脸质量评估模型。
余弦距离是一种常用的相似度度量方法，它衡量向量之间的夹角。在处理质量分数特别低的样本时，可以考虑进行自适应修正处理，以提高相似度的准确性。常见的自适应修正方法是通过加权余弦距离来处理，具体步骤如下：
计算原始的余弦距离。根据样本的特征向量计算余弦距离，得到初始的相似度分数。根据样本的质量分数进行修正。质量分数较低的样本可能包含噪声或不可靠的特征，因此需要对其余弦距离进行修正，可以使用质量分数作为权重，对初始的余弦距离进行加权修正，例如，可以将质量分数作为权重因子，乘以初始的余弦距离，得到修正后的相似度分数。根据修正后的相似度分数进行排序。根据修正后的相似度分数对样本进行排序，以确定相似度较高的样本。自适应修正处理的具体方法可以根据实际情况进行调整和优化。例如，可以根据质量分数的分布情况设计不同的权重策略，或者结合其他相似度度量方法进行综合考虑，此外，还可以使用其他技术如机器学习模型来进行相似度的修正和预测。
利用接受者操作特征曲线(Receiver Operating Characteristic curve)评估模型为现有方法，可参阅https://zhuanlan.zhihu.com/p/573964757。
本发明的另一目的在于克服现有技术的不足，提供一种使用上述基于特征的人脸质量评估模型的构建方法的应用，有效筛选高质量的人脸数字图像，提升人脸识别比对、匹配时的性能。
为了达成上述目的，本发明的采用的技术方案是：
一种使用上述基于特征的人脸质量评估模型的构建方法的应用，其包括以下步骤：
E1、获取待识别的人脸数字图像
E2、将所述的人脸数字图像输入所述的利用基于特征的人脸质量评估模型构建方法训练的人脸质量评估模型中，获得其质量分数为，其中/>，质量分数q的值越高，代表着该图像对应的人脸特征向量/>的置信度和可靠性越高，实现人脸数字图像的特征置信度评估。
采用上述方案后，本发明提出的基于特征的人脸质量评估模型的构建方法及其应用，基于人脸识别特征，采用自适应质量评估损失函数，可以有效的发掘人脸图像之间的信息，高效的建模人脸数字图像在参与比对匹配过程中的质量关系对比对分数的影响，以此获取一种基于特征的人脸质量评估模型，有效的筛选高质量的人脸数字图像，提升人脸识别比对、匹配时的性能。本发明可以在获取人脸特征的同时得到基于该输入图像提取特征的置信度，用于判断输入的人脸数字图像是否适合参加人脸比对、匹配等后续操作，有效的筛选高质量的人脸数字图像，提升人脸识别比对、匹配时的性能。
附图说明
图1为本发明基于特征的人脸质量评估模型的构建方法及应用的示意图；
图2为本发明基于特征的人脸质量评估模型的构建方法及应用的人脸识别神经网络模型示意图。
图3为本发明基于特征的人脸质量评估模型在公开数据集上针对人脸数字图像进行质量打分的结果示例。
具体实施方式
本发明旨在提高参与人脸比对、匹配的人脸数字图像的质量，提出了一种基于特征的人脸质量评估模型的构建方法。基于该方法所提出的自适应质量评估损失函数进行训练，该人脸质量评估模型可以自主有效地根据人脸特征挖掘区分训练集的高质量和低质量图像，并以此优化训练质量模块。经过本发明方法训练的人脸识别特征网络，在进行人脸特征比对和匹配时，除了人脸特征向量，还会提供一个质量置信度分数，用以判断输入的人脸数字图像质量是否符合人脸特征比对和匹配的要求，从而提升人脸识别系统的准确性和鲁棒性。
为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。
实施例一
如图1所示，本发明提出了一种基于特征的人脸质量评估模型的构建方法，该方法可以有效的筛选高质量的人脸数字图像，提升人脸识别比对、匹配时的性能。本方法可以应用在闸机通关、自助签到打卡、金融服务人脸认证、监控视频人脸比对等多种场景下的人脸识别任务中，有效过滤低质量人脸数字图像，提高参与比对匹配的人脸数字图像质量，进而提升人脸识别的准确率和鲁棒性。本发明以人脸识别任务为实施例，所述构建方法包括：
步骤S101，获取指定数量的标记有人脸身份类别信息的人脸数字图像作为训练数据集。本实施例使用私有数据集作为人脸识别训练数据集，该数据集包含2,108,809人50,812,520张人脸数字图像。
步骤S102，基于amsoftmax损失函数，使用S101中构建的训练数据集对一人脸识别神经网络模型进行训练，获取训练后的模型。其中，所述的人脸识别神经网络模型为IResNet200，人脸数字图像的输入大小为的三通道彩色图像，人脸特征向量长度为512，人脸识别神经网络模型输出/>的大小为/>。
具体的，包括：
步骤S1021, 使用IResNet200作为人脸识别神经网络模型，人脸数字图像的输入大小为/>的彩色图像，人脸识别神经网络模型输出/>的大小为，人脸特征向量/>的长度为512。
步骤S1022，利用S101中构建训练数据集，通过amsoftmax损失函数监督训练后，可以获取人脸识别神经网络模型和全连接操作/>的参数。
步骤S103，利用步骤S102所获取的人脸识别模型，在其输出的后端/>加入一个质量模块Q，构建质量评估模块。
具体的，包括：
步骤S1031，如图2所示，在人脸识别神经网络模型的输出/>后端加入构建质量模块/>。质量模块/>包含一个输出长度为 512维的全连接层、一个ReLU激活函数、一个输出长度为1的全连接层和一个sigmoid激活函数,依次顺序连接。
步骤S104，基于自适应质量评估损失函数，利用所述的训练数据集，根据随机梯度下降的反向传播算法，更新步骤S103阶段构建的质量模块的参数，获取训练后的基于特征的人脸质量评估模型。
具体的，包括：
步骤S1041，加载训练数据集全部标签，共计2,108,809类，并随机打乱顺序生成一组循环队列。
步骤S1042， 从S1041生成的循环队列中按照顺序，每个批次依次拿出128个标签，再从每个标签下随机采样8个样本，采样方式为有放回的随机采样，则每个批次的样本总数为1024个样本，构成训练神经网络时所需的批量数据。
步骤S1043，鉴于步骤S104所使用的自适应质量评估损失函数为非单调函数，其单调区间分别为和/>，质量分数/>，因此在训练过程中，我们对网络输出质量分数都进行加0.5的操作，保证所使用的目标函数位于单调区间。
步骤S105，判断是否需要继续优化更新所述的质量模块的可学习参数，判断为是时，返回执行S104，判断为否时，执行步骤S106。
具体的，对于判断是否需要继续迭代优化更新的方法是：
设置训练的初始学习率为0.1，终止学习率为0.0001，采用余弦退火学习率衰减方式，设置训练总优化时间为20个迭代周期(epoch)，当完成20个迭代周期后即终止训练过程，执行步骤S106 。
步骤S106，保存所述的基于特征的人脸质量评估模型。
为了更加清晰地说明本发明构建的基于特征的人脸质量评估模型的优越性，现将本发明的质量评估和人脸识别测试结果公开如下：
本发明共提供两个测试数据集。其一，从公开数据集Labeled Face in the Wild(简称LFW)中获取13,233张人脸数字图像，总计5,749人，将其作为测试集1。其二，构建一个私有数据集，其包含52,404人总计136,603张人脸数字图像，将其作为测试集2。利用所述的两个测试数据集对训练后的基于特征的人脸质量评估模型进行测试。
其中，图3为本发明基于特征的人脸质量评估模型在公开数据集上针对人脸数字图像进行质量估计的结果示例，其中质量分数位于区间，分数越高代表图像成像质量越高。可以显著的看出，本发明人脸质量评估模型可以有效地反映人脸数字图像的成像质量。
表1为本发明基于特征的人脸质量评估模型与另外5个现有的人脸识别模型在错误识别率为千分之一的正确识别率(TPR@FPR=0.1%)、以及错误识别率为百分之一时检测命中率(DIR@FAR=1%)在测试集1上的比较结果。
表1：
表2为本发明基于特征的人脸质量评估模型与另外5个现有的人脸识别模型在错误识别率为万分之一的正确识别率 (TPR@FPR=0.01%)、错误识别率为十万分之一的正确识别率(TPR@FPR=0.001%)、以及首选命中率(Rank-1)的比较结果。
表2：
上述表1和表2中：
对比方法1采用论文标题为“A Light CNN for Deep Face Representation withNoisy Labels”的方法；
对比方法2采用论文标题为“Sphereface: Deep hypersphere embedding forface recognition”的方法；
对比方法3采用论文标题为“ A discriminative feature learning approachfor deep face recognition”的方法；
对比方法4采用论文标题为“CosFace: Large Margin Cosine Loss for DeepFace Recognition”的方法；
对比方法5采用论文标题为“Arcface: Additive angular margin loss fordeep face recognition”的方法。
根据表1和表2的对比可以发现，本发明方法在两个数据集上的识别率均优于选取的5个对比模型。
实施例二
基于实施例一基于特征的人脸质量评估模型的构建方法及应用，本发明还提供了一种人脸识别方法，包括：
E1、取待识别的人脸数字图像;
E2、将所述的人脸数字图像输入所述的利用基于特征的人脸质量评估模型构建方法训练的质量评估模型中，对人脸数字图像的特征置信度进行评估，具体的评估方法是：针对一张给定的人脸数字图像x，将其输入利用基于特征的人脸质量评估模型构建方法训练的质量评估模型中可以获得其质量分数为，其中/>，对于一张输入的人脸数字图像/>，其质量分数/>越高，代表着该图像对应的人脸特征向量/>的置信度和可靠性越高。
综上所述，本发明的一种基于特征的人脸质量评估模型的构建方法及应用，基于提出的自适应质量评估损失函数进行训练，模型可以自主有效地根据人脸特征挖掘区分训练集的高质量和低质量图像，并以此优化训练质量模块。经过本发明方法训练的人脸识别特征网络，在进行人脸特征比对和匹配时，除了人脸特征向量，还会提供一个质量置信度分数，用以判断输入的人脸数字图像质量是否符合人脸特征比对和匹配的要求，从而提升人脸识别系统的准确性和鲁棒性。
上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。
Claims (5)
1.一种基于特征的人脸质量评估模型的构建方法，其特征在于，包括以下步骤：
A、获取指定数量的标记有人脸身份类别标签信息的人脸数字图像作为训练数据集；
B、基于am-softmax损失函数，利用所述的训练数据集对一个人脸识别神经网络进行训练，然后获取训练后的人脸识别神经网络模型；
C、利用步骤B所获取的人脸识别神经网络模型，在其输出的后端加入一个质量模块Q，构建质量评估模块；具体包括：
C1、在人脸识别神经网络模型的输出/>后端加入质量模块Q；
C2、定义质量模块输出，其中/>，对于一张输入人脸图像/>,其质量分数/>越高，代表着该图像对应的人脸特征向量的可靠性越高，F为全连接操作；
C3、质量模块Q包含一个输出长度为的全连接层、一个ReLU激活函数、一个输出长度为1的全连接层和一个sigmoid激活函数，依次顺序连接；
D、基于自适应质量评估损失函数，利用所述的训练数据集对步骤C构建的质量模块Q进行训练，获取训练后的基于特征的人脸质量评估模型，具体包括以下步骤：
D1、给定输入人脸图像和/>，其样本类别标签分别为/>和/>，获得人脸特征向量分别为/>和/>，质量分数分别为/>和，/>为全连接操作，/>为人脸识别神经网络模型；因此，定义自适应质量评估损失函数为：
其中，表示所述训练数据集中满足条件的样本总数，/>表示人脸特征向量/>和/>之间的余弦距离，定义为：
表示人脸特征向量/>的L2范数，/>表示人脸特征向量/>的L2范数；
D2、将步骤D1的函数作为损失函数，利用所述的训练数据集，根据随机梯度下降的反向传播算法，更新步骤C中所述的质量模块Q的模型参数，获得基于特征的人脸质量评估模型；
基于特征的人脸质量评估模型的判断方法为：获取指定数量的标记有人脸身份类别标签信息的人脸数字图像，并且根据人脸身份类别标签信息，构建测试的正样本对和负样本对，作为测试数据集，利用步骤D2所述的基于特征的人脸质量评估模型对所有测试数据集中的人脸数字图像提取特征并提取质量分数，利用提取到的特征计算测试数据集各个样本对的余弦距离，并对质量分数特别低的样本的余弦距离进行自适应修正处理，各样本对包括人脸数字图像和/>，其对应的人脸特征向量为/>和/>，其对应的质量分数为/>和/>，则计算比对分数的方式为
其中为人工设置的质量阈值；根据正负样本对的余弦距离，利用接受者操作特征曲线评估所述的基于特征的人脸质量评估模型；
E、判断是否需要继续优化更新所述的质量模块的模型参数，判断为是时，返回执行步骤D，判断为否时，执行步骤F;
F、保存所述的基于特征的人脸质量评估模型。
2.如权利要求1所述的基于特征的人脸质量评估模型的构建方法，其特征在于，步骤B包括：
B1、定义为输入人脸图像，利用人脸识别神经网络模型/>得到人脸识别神经网络的输出为/>,定义人脸识别神经网络的人脸特征向量为/>,其中/>,/>为特征向量维度，/>为全连接操作；
B2、利用所述的训练数据集，通过am-softmax损失函数监督训练后，获取人脸识别神经网络模型和全连接操作/>的参数。
3.如权利要求1所述的基于特征的人脸质量评估模型的构建方法，其特征在于，步骤D2，还包括：
D21、鉴于神经网络训练采用批量的随机梯度下降方法，因此步骤D1所述的损失函数要求每个批量数据中，需要包含类别标签相同的样本；
D22、鉴于步骤D1所提出的损失函数为非单调函数，其单调区间分别为和，质量分数/>，因此在训练过程中，对网络输出质量分数都进行加0.5的操作，保证步骤D1提出的损失函数位于单调区间。
4.如权利要求3所述的基于特征的人脸质量评估模型的构建方法，其特征在于，步骤D21采用基于标签循环的有放回数据的采样方法，其包括以下步骤：
D211、加载训练数据集全部标签，并将标签数据随机打乱并构成循环队列；
D212、从打乱标签列表中按照顺序依次采样P个标签，每个标签下随机采样K个样本，采样方式为有放回的随机采样，则每个批次的样本总数为个样本，构成训练神经网络时所需的批量数据。
5.如权利要求1至4中任意一项所述的基于特征的人脸质量评估模型的构建方法的应用，其特征在于，包括以下步骤：
E1、获取待识别的人脸数字图像x；
E2、将所述的人脸数字图像输入利用基于特征的人脸质量评估模型构建方法训练的人脸质量评估模型中，获得其质量分数为，其中/>，质量分数q的值越高，代表着该图像对应的人脸特征向量/>的置信度和可靠性越高，实现人脸数字图像的特征置信度评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311523567.2A CN117275076B (zh) | 2023-11-16 | 2023-11-16 | 基于特征的人脸质量评估模型的构建方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311523567.2A CN117275076B (zh) | 2023-11-16 | 2023-11-16 | 基于特征的人脸质量评估模型的构建方法及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117275076A CN117275076A (zh) | 2023-12-22 |
| CN117275076B true CN117275076B (zh) | 2024-02-27 |
Family
ID=89204866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311523567.2A Active CN117275076B (zh) | 2023-11-16 | 2023-11-16 | 基于特征的人脸质量评估模型的构建方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117275076B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091109A (zh) * | 2019-12-24 | 2020-05-01 | 厦门瑞为信息技术有限公司 | 基于人脸图像进行年龄和性别预测的方法、系统和设备 |
| CN111582150A (zh) * | 2020-05-07 | 2020-08-25 | 江苏日颖慧眼智能设备有限公司 | 一种人脸质量评估的方法、装置和计算机存储介质 |
| CN112215822A (zh) * | 2020-10-13 | 2021-01-12 | 北京中电兴发科技有限公司 | 一种基于轻量级回归网络的人脸图像质量评估方法 |
| CN112613579A (zh) * | 2020-12-31 | 2021-04-06 | 南京视察者智能科技有限公司 | 一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法 |
| CN113723238A (zh) * | 2021-08-18 | 2021-11-30 | 北京深感科技有限公司 | 一种人脸轻量网络模型构建方法和人脸识别方法 |
| CN115620083A (zh) * | 2022-09-29 | 2023-01-17 | 北京的卢深视科技有限公司 | 模型训练方法、人脸图像质量评价方法、设备及介质 |
| WO2023040156A1 (zh) * | 2021-09-17 | 2023-03-23 | 平安科技（深圳）有限公司 | 基于人脸图像的人脸质量评估方法、装置、设备及介质 |
| CN116092150A (zh) * | 2022-11-21 | 2023-05-09 | 浙江大学湖州研究院 | 一种基于深度学习的实时人脸关键点质量评估方法 |
| CN116704585A (zh) * | 2023-06-30 | 2023-09-05 | 华东师范大学 | 一种基于质量感知的人脸识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381782B (zh) * | 2020-11-11 | 2022-09-09 | 腾讯科技（深圳）有限公司 | 人脸图像质量评估方法、装置、计算机设备及存储介质 |
-
2023
- 2023-11-16 CN CN202311523567.2A patent/CN117275076B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091109A (zh) * | 2019-12-24 | 2020-05-01 | 厦门瑞为信息技术有限公司 | 基于人脸图像进行年龄和性别预测的方法、系统和设备 |
| CN111582150A (zh) * | 2020-05-07 | 2020-08-25 | 江苏日颖慧眼智能设备有限公司 | 一种人脸质量评估的方法、装置和计算机存储介质 |
| CN112215822A (zh) * | 2020-10-13 | 2021-01-12 | 北京中电兴发科技有限公司 | 一种基于轻量级回归网络的人脸图像质量评估方法 |
| CN112613579A (zh) * | 2020-12-31 | 2021-04-06 | 南京视察者智能科技有限公司 | 一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法 |
| CN113723238A (zh) * | 2021-08-18 | 2021-11-30 | 北京深感科技有限公司 | 一种人脸轻量网络模型构建方法和人脸识别方法 |
| WO2023040156A1 (zh) * | 2021-09-17 | 2023-03-23 | 平安科技（深圳）有限公司 | 基于人脸图像的人脸质量评估方法、装置、设备及介质 |
| CN115620083A (zh) * | 2022-09-29 | 2023-01-17 | 北京的卢深视科技有限公司 | 模型训练方法、人脸图像质量评价方法、设备及介质 |
| CN116092150A (zh) * | 2022-11-21 | 2023-05-09 | 浙江大学湖州研究院 | 一种基于深度学习的实时人脸关键点质量评估方法 |
| CN116704585A (zh) * | 2023-06-30 | 2023-09-05 | 华东师范大学 | 一种基于质量感知的人脸识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117275076A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598881B (zh) | 基于变分自编码器的图像异常检测方法 | |
| CN108171209B (zh) | 一种基于卷积神经网络进行度量学习的人脸年龄估计方法 | |
| WO2018121690A1 (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
| CN111523621A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN112541458B (zh) | 基于元学习的域自适应的人脸识别方法、系统、装置 | |
| CN108629370B (zh) | 一种基于深度置信网络的分类识别算法及装置 | |
| WO2019200735A1 (zh) | 牲畜特征向量的提取方法、装置、计算机设备和存储介质 | |
| CN108537168B (zh) | 基于迁移学习技术的面部表情识别方法 | |
| CN112215201B (zh) | 评估人脸识别模型、针对图像的分类模型的方法及装置 | |
| JP2022141931A (ja) | 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| CN113283368B (zh) | 一种模型训练方法、人脸属性分析方法、装置及介质 | |
| WO2023098912A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN115063664A (zh) | 用于工业视觉检测的模型学习方法、训练方法及系统 | |
| KR20210067606A (ko) | 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법 | |
| JP2016224821A (ja) | 学習装置、学習装置の制御方法及びプログラム | |
| CN113762005A (zh) | 特征选择模型的训练、对象分类方法、装置、设备及介质 | |
| CN117275076B (zh) | 基于特征的人脸质量评估模型的构建方法及应用 | |
| Tiwari | A pattern classification based approach for blur classification | |
| CN114255381B (zh) | 图像识别模型的训练方法、图像识别方法、装置及介质 | |
| CN115862119A (zh) | 基于注意力机制的人脸年龄估计方法及装置 | |
| CN115098681A (zh) | 一种基于有监督对比学习的开放服务意图检测方法 | |
| CN111079715A (zh) | 一种基于双字典学习的遮挡鲁棒性人脸对齐方法 | |
| JP2020181265A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
| CN116933041B (zh) | 力传感器编号校对系统及方法 | |
| CN113111957B (zh) | 基于特征去噪的防伪方法、装置、设备、产品及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |