CN112329679B - 一种人脸识别方法、系统、电子设备及存储介质 - Google Patents

一种人脸识别方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN112329679B
CN112329679B CN202011263985.9A CN202011263985A CN112329679B CN 112329679 B CN112329679 B CN 112329679B CN 202011263985 A CN202011263985 A CN 202011263985A CN 112329679 B CN112329679 B CN 112329679B
Authority
CN
China
Prior art keywords
face
image
snap
training
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011263985.9A
Other languages
English (en)
Other versions
CN112329679A (zh
Inventor
张友源
韩泽
焦任直
梁萧
王薷泉
王哲
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202011263985.9A priority Critical patent/CN112329679B/zh
Publication of CN112329679A publication Critical patent/CN112329679A/zh
Application granted granted Critical
Publication of CN112329679B publication Critical patent/CN112329679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸识别方法，所述人脸识别方法包括：获取多张抓拍人脸图像，并将所有所述抓拍人脸图像输入图像质量评估模型；其中，所述图像质量评估模型为利用添加有排序间隔的pairwise损失函数进行排序训练得到的模型；根据所述质量评估模型输出的图像质量评估结果从多张所述抓拍人脸图像中选取目标人脸图像；利用所述目标人脸图像执行人脸识别操作。本申请能够快速选取用于进行人脸识别的抓拍人脸图像，提高人脸识别的效率。本申请还公开了一种人脸识别系统、一种电子设备及一种存储介质，具有以上有益效果。

Description

一种人脸识别方法、系统、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种人脸识别方法、系统、一种电子设备及一种存储介质。
背景技术
在监控视频人脸识别分析过程中，需要比对注册人脸图像和抓拍人脸图像的高维图像特征。当抓拍得到的人脸图像清晰、无遮挡、姿态合适时，待对比的图像特征的相似度将很高，有利于提高人脸识别的精度。
在实际场景中，大部分抓拍人脸图像都会因为极端背景光照、相机抖动、抓拍目标的姿态和运动状态等问题，导致图像质量过低，影响人脸识别的准确性。为了提升人脸识别精度，相关技术通常会将多张抓拍照都做识别比对，从中选取相似度最高的图像特征作为最终结果，但是上述方式中，需要将多张抓拍图像与注册图像都做进行相似度比对，对比过程将会消耗过长的时间，人脸识别过程的效率较低。
因此，如何快速选取用于进行人脸识别的抓拍人脸图像，提高人脸识别的效率是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种人脸识别方法、系统、一种电子设备及一种存储介质，能够快速选取用于进行人脸识别的抓拍人脸图像，提高人脸识别的效率。
为解决上述技术问题，本申请提供一种人脸识别方法，该人脸识别方法包括：
获取多张抓拍人脸图像，并将所有所述抓拍人脸图像输入图像质量评估模型；其中，所述图像质量评估模型为利用添加有排序间隔的pairwise损失函数进行排序训练得到的模型；
根据所述质量评估模型输出的图像质量评估结果从多张所述抓拍人脸图像中选取目标人脸图像；
利用所述目标人脸图像执行人脸识别操作。
可选的，训练所述图像质量评估模型的过程包括：
获取训练样本；其中，所述训练样本包括多个人的人脸图像组，每个所述人脸图像组包括同一人员的多张抓拍人脸样本图像，每一所述抓拍人脸样本图像的标签为抓拍人脸样本图像与注册人脸样本图像的实际相似度；
对所述训练样本执行基于加权平均绝对值损失函数的迭代回归训练，得到中间模型；
利用添加有排序间隔的pairwise损失函数对所述中间模型进行排序训练得到所述图像质量评估模型。
可选的，所述对所述训练样本执行基于加权平均绝对值损失函数的迭代回归训练，得到中间模型，包括：
对所述训练样本中同一人员对应的抓拍人脸样本图像与注册人脸图像进行相似度比对，得到图像质量排序；
根据所述质量排序顺序确定每张抓拍人脸样本图像的权重值，并根据所述权重值和平均绝对值误差确定加权平均绝对值误差；其中，抓拍人脸样本图像的质量排序顺序越高，权重值越大；
对所述训练样本执行以所述加权平均绝对值误差作为损失函数的迭代回归训练，得到所述中间模型。
可选的，所述加权平均绝对值误差计算公式为WMAE为加权平均绝对值误差，m为所述当前批次训练样本包含的人数，n为每个人的抓拍人脸样本图像数，i用于表示训练样本中的第i个人，j表示图像质量排序第j位的抓拍人脸样本图像，Wj为图像质量排序第j位的抓拍人脸样本图像的权重值，/>为训练样本中第i个人的第j位抓拍人脸样本图像与注册人脸图像的预测相似度，yij为训练样本中第i个人的第j位抓拍人脸样本图像与注册人脸图像的实际相似度，所述实际相似度为排序后第j位所占的权重，m、n和Wj根据所述训练样本和应用场景确定。
可选的，所述添加有排序间隔的pairwise损失函数loss为：
和/>为同一人员的两张抓拍人脸样本图像分别与注册人脸图像的实际相似度，a和b为同一人员的两张抓拍人脸样本图像分别与注册人脸图像的预测相似度，m′为排序间隔。
可选的，根据所述质量评估模型输出的图像质量评估结果从多张所述抓拍人脸图像中选取目标人脸图像，包括：
根据所述质量评估模型输出的图像质量评估结果对所有所述抓拍人脸图像进行质量排序；
将质量排序前N名的抓拍人脸图像作为目标人脸图像。
可选的，利用所述目标人脸图像执行人脸识别操作，包括：
将所述目标人脸图像与注册人脸图像进行相似度比对；
若所述目标人脸图像与所述注册人脸图像的相似度大于预设值，则输出通过身份验证的提示信息。
本申请还提供了一种人脸识别系统，该系统包括：
质量评估模块，用于获取多张抓拍人脸图像，并将所有所述抓拍人脸图像输入图像质量评估模型；其中，所述图像质量评估模型为利用添加有排序间隔的pairwise损失函数进行排序训练得到的模型；
图像选取模块，用于根据所述质量评估模型输出的图像质量评估结果从多张所述抓拍人脸图像中选取目标人脸图像；
人脸识别模块，用于利用所述目标人脸图像执行人脸识别操作。
本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述人脸识别方法执行的步骤。
本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述人脸识别方法执行的步骤。
本申请提供了一种人脸识别方法，包括：获取多张抓拍人脸图像，并将所有所述抓拍人脸图像输入图像质量评估模型；其中，所述图像质量评估模型为利用添加有排序间隔的pairwise损失函数进行排序训练得到的模型；根据所述质量评估模型输出的图像质量评估结果从多张所述抓拍人脸图像中选取目标人脸图像；利用所述目标人脸图像执行人脸识别操作。
本申请在获取多张抓拍人脸图像之后，将抓拍人脸图像输入图像质量评估模型，以便利用图像质量评估模型对抓拍人脸图像进行排序。图像质量评估模型能够在无参考的情况下对实现人脸图像质量评估，进而选取图像质量较优的抓拍人脸图像进行人脸识别操作。上述过程无需将抓拍人脸图像分别与注册人脸图像进行相似度对比，可以提高快速选取用于进行人脸识别的抓拍人脸图像。本申请中的图像质量评估模型为利用添加有排序间隔的pairwise损失函数进行排序训练得到的模型，利用添加有排序间隔的pairwise损失函数进行排序训练能够提升模型的预测精度，进而可以获取图像质量较优的抓拍人脸图像。可见，本申请可以快速选取用于进行人脸识别的抓拍人脸图像，提高人脸识别的效率。本申请同时还提供了一种人脸识别系统、一种电子设备和一种存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种人脸识别方法的流程图；
图2为本申请实施例所提供的一种图像质量评估模型的训练方法的流程图；
图3为本申请实施例所提供的一种预测误差对比示意图；
图4为本申请实施例所提供的一种基于排序算法的无参考人脸图像质量评估模型的训练方法的原理示意图；
图5为本申请实施例所提供的一种图像质量评估模型的使用方法示意图；
图6为本申请实施例所提供的一种人脸识别系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面请参见图1，图1为本申请实施例所提供的一种人脸识别方法的流程图。
具体步骤可以包括：
S101：获取多张抓拍人脸图像，并将所有所述抓拍人脸图像输入图像质量评估模型；
其中，本实施例可以应用于手机、门禁等具有人脸识别功能的电子设备中，可以通过摄像头拍摄多张用户的抓拍人脸图像，从抓拍人脸图像中选择一张质量最优的图像进行人脸识别。在本实施例中，抓拍人脸图像与注册人脸图像之间的图像相似度为该抓拍人脸图像的质量。
本实施例中的图像质量评估模型为利用添加有排序间隔的pairwise损失函数进行排序训练得到的模型。pairwise损失函数又称两两排序损失函数，通过在pairwise损失函数中添加排序间隔(margin)，对同一人员的不同抓拍照训练样本做排序矫正优化，进一步提升人脸图像质量评估模型的评估精度。pairwise损失函数的思想是将排序错误的两个训练样本的预测质量分数的差值的绝对值作为损失值，约束质量评估模型以矫正优化所有训练样本的排序。因此，本实施例利用添加有排序间隔的pairwise损失函数进行排序训练得到的图像质量评估模型能够对抓拍人脸图像的质量进行准确评价，以便可以从多张所述抓拍人脸图像中与注册人脸图像的相似度最高的目标人脸图像并进行人脸识别。图像质量评估模型具体可以为卷积神经网络模型。
S102：根据质量评估模型输出的图像质量评估结果从多张抓拍人脸图像中选取目标人脸图像；
其中，在将多张抓拍人脸图像输入至图像质量评估模型之后，质量评估模型输出的质量评估结果包括每一种抓拍人脸图像的预测相似度(即得分)，预测相似度指图像质量评估模型对抓拍人脸图像与注册人脸图像之间的相似度的预测值。
作为一种可行的实施方式，本实施例可以根据所述质量评估模型输出的图像质量评估结果对所有所述抓拍人脸图像进行质量排序；将质量排序前N名的抓拍人脸图像作为目标人脸图像。
S103：利用所述目标人脸图像执行人脸识别操作。
其中，在确定目标人脸图像之后，本实施例可以比对注册人脸图像和目标人脸图像的高维图像特征，以便实现人脸识别操作。注册人脸图像为进行用户注册时录入的人脸图像，注册人脸图像为进行人脸识别的依据。作为一种可行的实施方式，执行人脸识别操作可以包括以下过程：将所述目标人脸图像与注册人脸图像进行相似度比对；若所述目标人脸图像与所述注册人脸图像的相似度大于预设值，则输出通过身份验证的提示信息；若所述目标人脸图像与所述注册人脸图像的相似度小于或等于预设值，则输出身份验证失败的提示信息。
在执行人脸识别操作后，可以存在以下两种人脸识别结果：(1)目标人脸图像和注册人脸图像为同一用户的人脸图像；(2)目标人脸图像和注册人脸图像不为同一用户的人脸图像。本实施例可以根据人脸识别执行相应的操作，如生成提示信息、控制门锁打开等。
本实施例在获取多张抓拍人脸图像之后，将抓拍人脸图像输入图像质量评估模型，以便利用图像质量评估模型对抓拍人脸图像进行排序。图像质量评估模型能够在无参考的情况下对实现人脸图像质量评估，进而选取图像质量较优的抓拍人脸图像进行人脸识别操作。上述过程无需将抓拍人脸图像分别与注册人脸图像进行相似度对比，可以提高快速选取用于进行人脸识别的抓拍人脸图像。本实施例中的图像质量评估模型为利用添加有排序间隔的pairwise损失函数进行排序训练得到的模型，利用添加有排序间隔的pairwise损失函数进行排序训练能够提升模型的预测精度，进而可以获取图像质量较优的抓拍人脸图像。可见，本实施例可以快速选取用于进行人脸识别的抓拍人脸图像，提高人脸识别的效率。
请参见图2，图2为本申请实施例所提供的一种图像质量评估模型的训练方法的流程图，本实施例是对图1对应实施例中提到的图像质量评估模型的训练过程的进一步介绍，可以将本实施例与图1对应的实施例相结合得到进一步的实施方式，训练图像质量评估模型的过程包括：
S201：获取训练样本；
其中，训练样本中可以包括多个人的人脸图像组，每个所述人脸图像组包括同一人员的多张抓拍人脸样本图像，每一所述抓拍人脸样本图像的标签为抓拍人脸样本图像与注册人脸样本图像的实际相似度。作为一种可行的实施方式，每一人脸图像组中包括相同数量的抓拍人脸样本图像。
S202：对训练样本执行基于加权平均绝对值损失函数的迭代回归训练，得到中间模型；
其中，本实施例利用加权平均绝对值误差的损失函数可提高模型对高质量抓拍图的排序能力，本实施例可以对所述训练样本中同一人员对应的抓拍人脸样本图像与注册人脸图像进行相似度比对，得到图像质量排序；根据所述质量排序顺序确定每张抓拍人脸样本图像的权重值，并根据所述权重值和平均绝对值误差确定加权平均绝对值误差；其中，抓拍人脸样本图像的质量排序顺序越高，权重值越大；对所述训练样本执行以所述加权平均绝对值误差作为损失函数的迭代回归训练，得到所述中间模型。加权平均绝对值误差通过对同一人不同质量的抓拍照进行排序，将质量好的照片所产生的loss赋予更大的权重，让质量模型对质量好的照片预测效果更准确。抓拍人脸样本图像与注册人脸图像的相似度越高，图像质量排序的名次越高。
在本步骤中采用回归方法训练质量评估模型。训练样本同时包含多个人的人脸图像组，每个人脸图像组包含多张抓拍人脸样本图像。
在回归方法中，较常用的损失函数为均方误差(mean square error,MSE)，如下所示：
其中和yi分别为预测值和真实值，但该损失函数在本方案的回归训练中有一定的缺点：在训练过程中，预测误差越来越小，达到1e-4或1e-5数量级，通过MSE计算得到的损失值loss变得非常小，对网络的约束能力相当小。为解决这一问题，本发明采用采用加权后的平均绝对值误差(mean absolute error,MAE)代替MSE作为回归训练的损失函数，平均绝对值误差如下所示：
请参见图3，图3为本申请实施例所提供的一种预测误差对比示意图。在图3中，虚线表示MAE loss(平均绝对值误差损失函数)，曲线表示MSE loss(均方误差损失函数)，由图3可知在训练过程中，随着预测误差越来越小，MAE loss的值和MSE loss的值均在不断减小，但MAE loss的值明显大于MSE loss的值，所以MAE loss能够对网络训练产生更大的约束能力。本实施例可以将排序名次作为平均绝对值误差的权重值得到加权平均绝对值误差WMAE；将所述加权平均绝对值误差作为损失函数并利用所述训练样本迭代训练初始模型得到所述中间模型。
上述加权平均绝对值误差计算公式为WMAE为加权平均绝对值误差，m为所述当前批次训练样本包含的人数，n为每个人的抓拍人脸样本图像数，i用于表示训练样本中的第i个人，j表示图像质量排序第j位的抓拍人脸样本图像，Wj为图像质量排序第j位的抓拍人脸样本图像的权重值，/>为训练样本中第i个人的第j位抓拍人脸样本图像与注册人脸图像的预测相似度，yij为训练样本中第i个人的第j位抓拍人脸样本图像与注册人脸图像的实际相似度，所述实际相似度为排序后第j位所占的权重，m、n和Wj根据所述训练样本和应用场景确定。
S203：利用添加有排序间隔的pairwise损失函数对所述中间模型进行排序训练得到所述图像质量评估模型。
其中，排序间隔可以为预先设置的固定值，添加有排序间隔的pairwise损失函数loss为： 和/>为同一人员的两张抓拍人脸样本图像分别与注册人脸图像的实际相似度，a和b为同一人员的两张抓拍人脸样本图像分别与注册人脸图像的预测相似度，m′为排序间隔。relu(Rectified LinearUnit,线性整流函数)，又称修正线性单元，是一种人工神经网络中常用的激活函数。
通过本实施例描述的图像质量评估模型的训练方法，可以先利用加权平均绝对值误差进行回归训练，再利用添加有排序间隔的pairwise损失函数进行排序训练，得到具有良好评估能力的图像质量评估模型。
下面通过在实际应用中的实施例说明上述实施例描述的流程。请参见图4，图4为本申请实施例所提供的一种基于排序算法的无参考人脸图像质量评估模型的训练方法的原理示意图。
本实施例的图像质量评估模型可以采用卷积神经网络实现，其一般训练思路为：输入训练样本，经过质量评估模型计算，输出预测质量得分(即上文提到的预测相似度)，并根据该样本的真实得分(标签，即上文提到的实际相似度)计算预测偏差损失，并通过优化算法更新质量评估模型的参数，经过适当迭代次数，得到最终的质量评估模型。由于本实施例的图像质量评估模型的理论输出设定为证件照和抓拍照之间的人脸特征相似度，因此模型训练样本的真实得分由人脸识别模型提取证件照和抓拍照的特征并计算相似度得到。另一方面，仅仅使用回归方法训练得到的质量评估模型还有提升精度的潜力，因此本实施例在回归方法训练得到的第一阶段模型基础上，采用排序方法对模型进行微调，以进一步提升模型精度。所以本实施例的实施方案分为两个阶段：第一阶段采用回归方法训练，第二阶段采用排序方法训练。图像质量评估模型的训练过程具体如下：
如图4所示，本实施例使用证件照(即上文中的注册人脸图像)和抓拍照(即上文中的抓拍人脸图像)的人脸特征相似度作为回归目标，采用平均绝对值误差(mean absoluteerror,MAE)替代常用的均方误差(mean square error,MSE)，并使用加权方法突出高人脸图像质量的训练样本的重要性，最终使用回归方法训练得到第一阶段质量评估模型。采用两两排序(pairwise)损失函数，并增加排序间隔(margin)，对相同人的不同抓拍照训练样本做排序矫正优化，进一步提升第一阶段质量评估模型的精度，得到第二阶段质量评估模型，作为最终的图像质量评估模型。本实施例改进了基于卷积神经网络模型的无参考人脸图像质量评估方法的训练方法，能够提升人脸图像质量评估模型的准确度，在人脸识别过程中能够更准确地筛选抓拍照，以进一步提升人脸识别的精度，同时能够简化图像质量评估模型的使用过程。
在第一阶段质量评估模型训练的过程中，本发明使用加权方法突出高图像质量的训练样本的重要性，得到加权平均绝对值误差(WMAE)损失函数，其实现公式如下：其中，m、n和wj分别为训练样本包含的人数、每个人的照片数、同一个人的每个样本的权重。本实施例可以使用WMAE损失函数训练得到了第一阶段的人脸图像质量评估模型。
在第二阶段质量评估模型训练的过程中，本实施例可以基于第一阶段训练得到的人脸图像质量评估模型，采用两两排序(pairwise)损失函数，并增加排序间隔(margin)，对同一人员的不同抓拍照训练样本做排序矫正优化，进一步提升第一阶段人脸图像质量评估模型的精度。对于训练样本，同时包含多个人，每个人两张抓拍照。
两两排序(pairwise)损失函数的思想是将排序错误的两个训练样本的预测质量分数的差值的绝对值作为损失值，约束质量评估模型以矫正优化所有训练样本的排序。首先根据训练样本的真实分数(标签)确定训练样本的质量分数顺序，再结合预测结果计算损失loss。假设同一人员的训练样本A和B的真实分数(标签)分别为a和b，预测结果分别为和/>则损失值loss计算公式如下：
其中，/>
本实施例为了降低预测损失值，在计算loss时增加排序间隔(margin)以增加不同训练样本的预测质量分数在排序序列上的间隔。具体计算公式如下：其中，/>m′表示增加的排序间隔margin。
本实施例采用两阶段的训练方式(第一阶段回归方法，第二阶段排序方法)，能够进一步提升人脸图像质量评估模型的精度。在第一阶段回归训练的过程中，使用平均绝对值误差(MAE)损失函数替代常用的均方误差(MSE)能够在预测误差很小时增强模型训练的约束能力；同时，使用加权方法能够突出高图像质量的训练样本的重要性，提升在使用阶段选取高质量图像的准确性。在第二阶段排序训练的过程中，使用带有间隔(margin)的两两排序(pairwise)损失函数能够进一步提升第一阶段得到的图像质量评估模型的精度。
在得到图像质量评估模型之后，图像质量评估模型的使用过程如图5所示为，输入同一人员的多张抓拍照，经过模型计算输出其对应的质量分数(理论上为人脸特征相似度)，再结合质量分数对抓拍照排序，最后根据实际需求选取质量分数最高的一张或多张，用于人脸识别过程或者其他应用。
请参见图6，图6为本申请实施例所提供的一种人脸识别系统的结构示意图；
该系统可以包括：
质量评估模块100，用于获取多张抓拍人脸图像，并将所有所述抓拍人脸图像输入图像质量评估模型；其中，所述图像质量评估模型为利用添加有排序间隔的pairwise损失函数进行排序训练得到的模型；
图像选取模块200，用于根据所述质量评估模型输出的图像质量评估结果从多张所述抓拍人脸图像中选取目标人脸图像；
人脸识别模块300，用于利用所述目标人脸图像执行人脸识别操作。
本实施例在获取多张抓拍人脸图像之后，将抓拍人脸图像输入图像质量评估模型，以便利用图像质量评估模型对抓拍人脸图像进行排序。图像质量评估模型能够在无参考的情况下对实现人脸图像质量评估，进而选取图像质量较优的抓拍人脸图像进行人脸识别操作。上述过程无需将抓拍人脸图像分别与注册人脸图像进行相似度对比，可以提高快速选取用于进行人脸识别的抓拍人脸图像。本实施例中的图像质量评估模型为利用添加有排序间隔的pairwise损失函数进行排序训练得到的模型，利用添加有排序间隔的pairwise损失函数进行排序训练能够提升模型的预测精度，进而可以获取图像质量较优的抓拍人脸图像。可见，本实施例可以快速选取用于进行人脸识别的抓拍人脸图像，提高人脸识别的效率。
可选的，还包括：
样本获取模块，用于获取训练样本；其中，所述训练样本包括多个人的人脸图像组，每个所述人脸图像组包括同一人员的多张抓拍人脸样本图像，每一所述抓拍人脸样本图像的标签为抓拍人脸样本图像与注册人脸样本图像的实际相似度；
回归训练模块，用于对所述训练样本执行基于加权平均绝对值损失函数的迭代回归训练，得到中间模型；；
排序训练模块，用于利用添加有排序间隔的pairwise损失函数对所述中间模型进行排序训练得到所述图像质量评估模型。
可选的，回归训练模块，用于对所述训练样本中同一人员对应的抓拍人脸样本图像与注册人脸图像进行相似度比对，得到图像质量排序；还用于根据所述质量排序顺序确定每张抓拍人脸样本图像的权重值，并根据所述权重值和平均绝对值误差确定加权平均绝对值误差；其中，抓拍人脸样本图像的质量排序顺序越高，权重值越大；还用于对所述训练样本执行以所述加权平均绝对值误差作为损失函数的迭代回归训练，得到所述中间模型。
进一步的，加权平均绝对值误差计算公式为WMAE为加权平均绝对值误差，m为所述当前批次训练样本包含的人数，n为每个人的抓拍人脸样本图像数，i用于表示训练样本中的第i个人，j表示图像质量排序第j位的抓拍人脸样本图像，Wj为图像质量排序第j位的抓拍人脸样本图像的权重值，/>为训练样本中第i个人的第j位抓拍人脸样本图像与注册人脸图像的预测相似度，yij为训练样本中第i个人的第j位抓拍人脸样本图像与注册人脸图像的实际相似度，所述实际相似度为排序后第j位所占的权重，m、n和Wj根据所述训练样本和应用场景确定。
进一步的，所述添加有排序间隔的pairwise损失函数loss为：
和/>为同一人员的两张抓拍人脸样本图像分别与注册人脸图像的实际相似度，a和b为同一人员的两张抓拍人脸样本图像分别与注册人脸图像的预测相似度，m′为排序间隔。
进一步的，所述图像选取模块200包括：
排序单元，用于根据所述质量评估模型输出的图像质量评估结果对所有所述抓拍人脸图像进行质量排序；
图像设置单元，用于将质量排序前N名的抓拍人脸图像作为目标人脸图像。
进一步的，所述人脸识别模块300，用于将所述目标人脸图像与注册人脸图像进行相似度比对；还用于若所述目标人脸图像与所述注册人脸图像的相似度大于预设值，则输出通过身份验证的提示信息。
由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (6)

1.一种人脸识别方法，其特征在于，包括：
获取多张抓拍人脸图像，并将所有所述抓拍人脸图像输入图像质量评估模型；其中，所述图像质量评估模型为利用添加有排序间隔的pairwise损失函数进行排序训练得到的模型；所述排序间隔为预先设置的固定值；
根据所述质量评估模型输出的图像质量评估结果从多张所述抓拍人脸图像中选取目标人脸图像；
利用所述目标人脸图像执行人脸识别操作；
其中，训练所述图像质量评估模型的过程包括：
获取训练样本；其中，所述训练样本包括多个人的人脸图像组，每个所述人脸图像组包括同一人员的多张抓拍人脸样本图像，每一所述抓拍人脸样本图像的标签为抓拍人脸样本图像与注册人脸样本图像的实际相似度；
对所述训练样本中同一人员对应的抓拍人脸样本图像与注册人脸图像进行相似度比对，得到图像质量排序；
根据所述质量排序顺序确定每张抓拍人脸样本图像的权重值，并根据所述权重值和平均绝对值误差确定加权平均绝对值误差；其中，抓拍人脸样本图像的质量排序顺序越高，权重值越大；
对所述训练样本执行以所述加权平均绝对值误差作为损失函数的迭代回归训练，得到中间模型；
利用添加有固定排序间隔的pairwise损失函数对所述中间模型进行排序训练得到所述图像质量评估模型；
其中，所述加权平均绝对值误差计算公式为，WMAE为加权平均绝对值误差，m为当前批次训练样本包含的人数，n为每个人的抓拍人脸样本图像数，i用于表示训练样本中的第i个人，j表示图像质量排序第j位的抓拍人脸样本图像，/>为图像质量排序第j位的抓拍人脸样本图像的权重值，/>为训练样本中第i个人的第j位抓拍人脸样本图像与注册人脸图像的预测相似度，/>为训练样本中第i个人的第j位抓拍人脸样本图像与注册人脸图像的实际相似度，所述实际相似度为排序后第j位所占的权重，m、n和/>根据所述训练样本和应用场景确定；
所述添加有排序间隔的pairwise损失函数为：
；/>，/>和/>为同一人员的两张抓拍人脸样本图像分别与注册人脸图像的实际相似度，/>和/>为同一人员的两张抓拍人脸样本图像分别与注册人脸图像的预测相似度，/>为排序间隔。
2.根据权利要求1所述人脸识别方法，其特征在于，根据所述质量评估模型输出的图像质量评估结果从多张所述抓拍人脸图像中选取目标人脸图像，包括：
根据所述质量评估模型输出的图像质量评估结果对所有所述抓拍人脸图像进行质量排序；
将质量排序前N名的抓拍人脸图像作为目标人脸图像。
3.根据权利要求1或2所述人脸识别方法，其特征在于，利用所述目标人脸图像执行人脸识别操作，包括：
将所述目标人脸图像与注册人脸图像进行相似度比对；
若所述目标人脸图像与所述注册人脸图像的相似度大于预设值，则输出通过身份验证的提示信息。
4.一种人脸识别系统，其特征在于，包括：
质量评估模块，用于获取多张抓拍人脸图像，并将所有所述抓拍人脸图像输入图像质量评估模型；其中，所述图像质量评估模型为利用添加有排序间隔的pairwise损失函数进行排序训练得到的模型；所述排序间隔为预先设置的固定值；
图像选取模块，用于根据所述质量评估模型输出的图像质量评估结果从多张所述抓拍人脸图像中选取目标人脸图像；
人脸识别模块，用于利用所述目标人脸图像执行人脸识别操作；
样本获取模块，用于获取训练样本；其中，所述训练样本包括多个人的人脸图像组，每个所述人脸图像组包括同一人员的多张抓拍人脸样本图像，每一所述抓拍人脸样本图像的标签为抓拍人脸样本图像与注册人脸样本图像的实际相似度；
回归训练模块，用于对所述训练样本中同一人员对应的抓拍人脸样本图像与注册人脸图像进行相似度比对，得到图像质量排序；还用于根据所述质量排序顺序确定每张抓拍人脸样本图像的权重值，并根据所述权重值和平均绝对值误差确定加权平均绝对值误差；其中，抓拍人脸样本图像的质量排序顺序越高，权重值越大；还用于对所述训练样本执行以所述加权平均绝对值误差作为损失函数的迭代回归训练，得到中间模型；
排序训练模块，用于利用添加有固定排序间隔的pairwise损失函数对所述中间模型进行排序训练得到所述图像质量评估模型；
其中，所述加权平均绝对值误差计算公式为，WMAE为加权平均绝对值误差，m为当前批次训练样本包含的人数，n为每个人的抓拍人脸样本图像数，i用于表示训练样本中的第i个人，j表示图像质量排序第j位的抓拍人脸样本图像，/>为图像质量排序第j位的抓拍人脸样本图像的权重值，/>为训练样本中第i个人的第j位抓拍人脸样本图像与注册人脸图像的预测相似度，/>为训练样本中第i个人的第j位抓拍人脸样本图像与注册人脸图像的实际相似度，所述实际相似度为排序后第j位所占的权重，m、n和/>根据所述训练样本和应用场景确定；
所述添加有排序间隔的pairwise损失函数为：
；/>，/>和/>为同一人员的两张抓拍人脸样本图像分别与注册人脸图像的实际相似度，/>和/>为同一人员的两张抓拍人脸样本图像分别与注册人脸图像的预测相似度，/>为排序间隔。
5.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至3任一项所述人脸识别方法的步骤。
6.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上权利要求1至3任一项所述人脸识别方法的步骤。
CN202011263985.9A 2020-11-12 2020-11-12 一种人脸识别方法、系统、电子设备及存储介质 Active CN112329679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011263985.9A CN112329679B (zh) 2020-11-12 2020-11-12 一种人脸识别方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011263985.9A CN112329679B (zh) 2020-11-12 2020-11-12 一种人脸识别方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112329679A CN112329679A (zh) 2021-02-05
CN112329679B true CN112329679B (zh) 2023-10-10

Family

ID=74317506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011263985.9A Active CN112329679B (zh) 2020-11-12 2020-11-12 一种人脸识别方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112329679B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906810B (zh) * 2021-03-08 2024-04-16 共达地创新技术(深圳)有限公司 目标检测方法、电子设备和存储介质
CN113516814B (zh) * 2021-04-19 2023-04-18 新疆爱华盈通信息技术有限公司 基于人脸识别的智能供货方法和终端
CN113283305B (zh) * 2021-04-29 2024-03-26 百度在线网络技术（北京）有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113435400B (zh) * 2021-07-14 2022-08-30 世邦通信股份有限公司 无屏人脸识别校准方法、装置、无屏人脸识别设备及介质
CN113486858B (zh) * 2021-08-03 2024-01-23 济南博观智能科技有限公司 一种人脸识别模型训练方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125422A (zh) * 2019-12-13 2020-05-08 北京达佳互联信息技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN111814620A (zh) * 2020-06-28 2020-10-23 浙江大华技术股份有限公司 人脸图像质量评价模型建立方法、优选方法、介质及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125422A (zh) * 2019-12-13 2020-05-08 北京达佳互联信息技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN111814620A (zh) * 2020-06-28 2020-10-23 浙江大华技术股份有限公司 人脸图像质量评价模型建立方法、优选方法、介质及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于动态集成算法的航空发动机气路参数预测;张一震等;《航空动力学报》;20180930;第2285-2295页 *
郭莉丽.基于卷积神经网络的图像分割质量评估方法研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2019,论文第35-46页. *

Also Published As

Publication number Publication date
CN112329679A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112329679B (zh) 一种人脸识别方法、系统、电子设备及存储介质
CN108182394B (zh) 卷积神经网络的训练方法、人脸识别方法及装置
CN110309874B (zh) 负样本筛选模型训练方法、数据筛选方法和数据匹配方法
JP5506722B2 (ja) マルチクラス分類器をトレーニングするための方法
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN109886343B (zh) 图像分类方法及装置、设备、存储介质
TWI761813B (zh) 視頻分析方法及其相關的模型訓練方法、電子設備、儲存介質
CN107871103B (zh) 一种人脸认证方法和装置
CN111614897B (zh) 一种基于用户偏好多维度驱动的智能拍照方法
Bohdal et al. Meta-calibration: Learning of model calibration using differentiable expected calibration error
WO2016142285A1 (en) Method and apparatus for image search using sparsifying analysis operators
US20220383458A1 (en) Control method, storage medium, and information processing apparatus
CN111242091A (zh) 年龄识别模型训练方法、装置及电子设备
US7454062B2 (en) Apparatus and method of pattern recognition
CN112084825B (zh) 烹饪评价方法、烹饪推荐方法、计算机设备及存储介质
CN112949855B (zh) 人脸识别模型训练方法、识别方法、装置、设备及介质
US20210192032A1 (en) Dual-factor identification system and method with adaptive enrollment
Lin et al. Domestic activities clustering from audio recordings using convolutional capsule autoencoder network
CN111178162B (zh) 图像识别方法、装置、计算机设备和存储介质
CN109492702B (zh) 基于排序度量函数的行人重识别方法、系统、装置
CN111783936A (zh) 卷积神经网络构建方法、装置、设备及介质
CN110263196B (zh) 图像检索方法、装置、电子设备及存储介质
CN114565797A (zh) 一种用于分类的神经网络的训练、图像分类方法以及装置
CN109165587A (zh) 智能图像信息抽取方法
Tan et al. Learning sparse confidence-weighted classifier on very high dimensional data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant