CN112215831A - 一种用于人脸图像质量的评价方法和系统 - Google Patents

一种用于人脸图像质量的评价方法和系统 Download PDF

Info

Publication number
CN112215831A
CN112215831A CN202011133726.4A CN202011133726A CN112215831A CN 112215831 A CN112215831 A CN 112215831A CN 202011133726 A CN202011133726 A CN 202011133726A CN 112215831 A CN112215831 A CN 112215831A
Authority
CN
China
Prior art keywords
face
face image
analyzed
center point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011133726.4A
Other languages
English (en)
Other versions
CN112215831B (zh
Inventor
阎辰佳
周成祖
吴宏胜
林淑强
李山
张永光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN202011133726.4A priority Critical patent/CN112215831B/zh
Publication of CN112215831A publication Critical patent/CN112215831A/zh
Application granted granted Critical
Publication of CN112215831B publication Critical patent/CN112215831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明给出了一种用于人脸图像质量的评价方法和系统，包括获取模糊图像与待分析人脸图像的相邻像素灰度值的变化值；获取待分析人脸图像中的人脸边界，根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息以及人脸图像的长和宽，利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度；将上述数据归一化后作为训练数据输入机器学习模型；通过监督学习算法对训练数据进行非线性拟合，利用网格搜索法对机器学习模型进行选择以及参数调优，获取最终人脸图像质量的分析模型。本发明对人眼评价结果有良好的拟合性，能适用于各种硬件平台且耗时少能确保系统实时性。

Description

一种用于人脸图像质量的评价方法和系统
技术领域
本发明涉及人脸识别的技术领域，尤其是一种用于人脸图像质量的评价方法和系统。
背景技术
目前，人脸识别是计算机视觉领域的热门技术，它主要是从摄像机或摄像头采集得到包含人脸的图像或者视频文件，通过自动人脸检测、跟踪、脸部特征提取等技术，进而对人脸特征进行1:1、1:N等比对，它通常应用于人证比对、支付、查询、解锁等多种实际生活场景中。
视频文件(包括从摄像头直接输出的视频流)是由有时间顺序的视频帧构成的，每秒所含视频帧数量会根据摄影器材及其设置的不同而有所差异，一般在15-120fps(帧每秒)不等。因此，从某一个人的一段视频文件中检测人脸，会得到这个人的一个人脸图像集合，这个集合中的每张人脸图像都是这个人从视频中某一时刻的视频中检测得到的。由于人脸识别的比对底库通常数量级庞大，对一张人脸图像进行比对识别通常耗时较高，为了提高效率需要对同一个人进行跟踪，将其人脸图像聚类并只对识别系统推送该被识别人的质量最好的一张人脸图像。如果视频中有出现被识别人的正脸清晰图像，而识别系统被推送的却是该被识别人的侧脸图像，那么识别正确率就会受到较大影响，因此如何对人脸图像质量进行定量评价对于人脸识别系统的结果至关重要。
人脸图像质量评价算法通常会使用多种评价指标对图像各个维度进行评价打分，最终通过归一化并线性加权得到单一指标来选取同一被识别人的多张人脸图像中最适合人脸识别的一种推送给系统进行后续操作。然而，各特征维度与图像质量评分之间的关系并不一定是线性的，且最终算法的评价只能通过是否符合人眼评价标准来定性地分析，这从客观上来说，调节线性权重参数是非常困难的。
发明内容
为了解决现有技术中人脸图像质量评价算法的各特征维度与图像质量评分之间存在的非线性关系以及调节权重参数非常困难的技术问题，本发明提出了一种用于人脸图像质量的评价方法和系统，使得人脸图像质量算法对人眼评价结果有更好的拟合性，且通过机器学习的网格搜索法及训练、预测的流水线能更快更直观地得到参数优化结果。
在一个方面，本发明提出了一种用于人脸图像质量的分析方法，包括以下步骤：
S1：对待分析人脸图像进行低通滤波处理获取模糊图像，获取模糊图像与待分析人脸图像的相邻像素灰度值的变化值；
S2：获取待分析人脸图像中的人脸边界，根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息以及人脸图像的长和宽，并分别获取待分析人脸图像中眼睛、鼻尖和嘴角在待分析人脸图像中的坐标信息；
S3：利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度；
S4：将模糊图像与待分析人脸图像的相邻像素灰度值的变化值、人脸图像的长和宽、人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度归一化后作为训练数据输入机器学习模型；以及
S5：通过监督学习算法对训练数据进行非线性拟合，利用网格搜索法对机器学习模型进行选择以及参数调优，获取最终人脸图像质量的分析模型。
优选的，步骤S1中的模糊图像与待分析人脸图像的相邻像素灰度值的变化值采用二次模糊的清晰度算法获取。利用二次模糊的清晰度算法能够简单快速实时地获取灰度值变化情况。
优选的，步骤S3之前还包括利用深度神经网络的训练检测获取待分析人脸图像中眼睛、鼻尖和嘴角的位置。凭借深度神经网络的训练可以快速获取人脸图像中眼睛鼻尖嘴角的位置信息，便于进行坐标位置的提取。
优选的，步骤S3中人脸中心点与待分析人脸图像的中心的偏移度的分值计算公式具体为：
Figure BDA0002735986070000021
鼻尖与人脸边界的中心点的偏移度的分值计算公式具体为：
Figure BDA0002735986070000022
其中，(cx、cy)表示人脸中心点坐标，(x2、y2)表示鼻尖的坐标，w表示待分析人脸图像的宽度，h表示待分析人脸图像的高度。
优选的，步骤S2中的眼睛的坐标信息具体包括左眼中心点坐标(x0，y0)和右眼中心点坐标(x1，y1)，嘴角的坐标信息具体包括左嘴角顶点坐标(x3，y3)和右嘴角顶点坐标(x4，y4)。利用左右眼中心、左右嘴角顶点的坐标可以进行倾斜度的快速运算。
进一步优选的，步骤S3中眼睛的倾斜度的分值计算公式具体为：
Figure BDA0002735986070000023
Figure BDA0002735986070000024
嘴角的倾斜度的分值计算公式具体为：
Figure BDA0002735986070000025
Figure BDA0002735986070000026
进一步优选的，脸部左右对称度的分值具体包括分别利用眼睛、嘴角相对于鼻尖的位置计算的第一左右对称度分值和第二左右对称度分值。凭借以上两个位置可以利用眼睛和鼻尖计算出脸部的对称度情况。
进一步优选的，第一左右对称度分值的计算公式具体为：
Figure BDA0002735986070000031
Figure BDA0002735986070000032
第二左右对称度分值得计算公式具体为：
Figure BDA0002735986070000033
优选的，步骤S4还包括将训练数据作为机器学习模型的输入向量，进行随机选取并获得训练集、验证集和测试集。凭借不同集合的训练以及验证可以获取最优的分析模型。
进一步优选的，训练集、验证集和测试集的比例为7:2:1。
优选的，监督学习算法包括SVM、朴素贝叶斯、GBDT或AdaBoost。凭借上述监督学习算法可以使得该人脸图像质量算法对人眼评价结果有更好的拟合性。
进一步优选的，步骤S5具体包括利用网格搜索法将可调参数穷举到训练流水线中顺序进行训练，最终人脸图像质量模型为在验证集的得分最高的机器学习模型及参数的组合。通过机器学习的网格搜索法及训练、预测的流水线能更快更直观地得到参数优化结果。
根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述方法。
根据本发明的第三方面，提出了一种用于人脸图像质量的评价系统，该系统包括：
训练数据采集单元：配置用于对待分析人脸图像进行低通滤波处理获取模糊图像，获取模糊图像与待分析人脸图像的相邻像素灰度值的变化值；获取待分析人脸图像中的人脸边界，根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息以及人脸图像的长和宽，并分别获取待分析人脸图像中眼睛、鼻尖和嘴角在待分析人脸图像中的坐标信息；利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度；
训练数据处理单元：配置用于将模糊图像与待分析人脸图像的相邻像素灰度值的变化值、人脸图像的长和宽、人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度归一化后作为训练数据输入机器学习模型；以及
模型构建单元：通过监督学习算法对训练数据进行非线性拟合，利用网格搜索法对机器学习模型进行选择以及参数调优，获取最终人脸图像质量的分析模型。
本发明提出了一种用于人脸图像质量的评价方法和系统，该方法采用人眼评价标准对通过摄像头采集的2万张不同质量的人脸图片进行人工二分类标注，这使得对后续评价算法的结果有了定量分析的方法。而后通过对人脸图像进行各维度特征向量提取，将取得的特征向量与其相对应的二分类标签作为机器学习算法的输入，使用SVM、朴素贝叶斯、GBDT或者Adaboost等监督学习算法对训练数据进行非线性拟合，使得该人脸图像质量算法对人眼评价结果有更好的拟合性，且通过机器学习的网格搜索法及训练、预测的流水线能更快更直观地得到参数优化结果。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的一个实施例的一种用于人脸图像质量的评价方法的流程图；
图3是本申请的一个实施例的一种用于人脸图像的清晰度算法的流程图；
图4是本申请的一个实施例的一种用于人脸图像质量的评价系统的框架图；
图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的用于人脸图像质量的评价方法的示例性系统架构100。
如图1所示，系统架构100可以包括数据服务器101，网络102和主服务器103。网络102用以在数据服务器101和主服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
主服务器103可以是提供各种服务的服务器，例如对数据服务器101上传的信息进行处理的数据处理服务器。数据处理服务器可以进行人脸图像的正脸程度的分析。
需要说明的是，本申请实施例所提供的用于人脸图像质量的评价方法一般由主服务器103执行，相应地，用于人脸图像质量的评价方法的装置一般设置于主服务器103中。
需要说明的是，数据服务器和主服务器可以是硬件，也可以是软件。当为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。
应该理解，图1中的数据服务器、网络和主服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
根据本申请的一个实施例的用于人脸图像质量的评价方法，图2示出了根据本申请的实施例的用于人脸图像质量的评价方法的流程图。如图2所示，该方法包括以下步骤：
S201：对待分析人脸图像进行低通滤波处理获取模糊图像，获取模糊图像与待分析人脸图像的相邻像素灰度值的变化值。
在具体的实施例中，在人脸图像清晰度评价算法方面，由于它没有评价参考图像，只能采用无参考型客观评价方法，目前对无参考型图像质量评价方法的研究有限，且主要集中于对图像盲恢复参数的辨识，提出的方法又大多过于复杂、计算耗费时间长，不适合本专利的应用场景人脸识别系统的实时性要求。为达到应用需求，采用基于二次模糊的清晰度算法(ReBlur)的思路，获取待评价人脸图像Image与模糊图像BlurImage的相邻像素灰度值的变化值，它可以通过图像梯度值来表征相关特征，使用G(·)表示图像梯度求解函数得到相应特征G(BlurImage)、G(Image)。具体流程图如图3所示。对待评价人脸图像Image301进行低通滤波获取模糊图像BlurImage302，分别获取待评价人脸图像Image301和模糊图像BlurImage302的相邻像素灰度值的变化情况303、304，对二者进行比较分析305获得最终的清晰度结果。
在具体的实施例中，相邻像素灰度值的变化可以通过图像梯度值来表征，如果待评价人脸图像Image301本身相对清晰，则对其经过低通滤波器后的模糊图像BlurImage302的图像梯度相比原图Image的图像梯度变化会非常大；相对的，如果Image比较模糊，则BlurImage的图像梯度相比原图变化会比较小。
S202：获取待分析人脸图像中的人脸边界，根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息以及人脸图像的长和宽，并分别获取待分析人脸图像中眼睛、鼻尖和嘴角在待分析人脸图像中的坐标信息。人脸中心点的坐标信息可以用于判断脸部与图像中心的偏移程度，作为判断人脸图像质量的一个参考数据。通过不同的机器学习模型训练检测获得眼睛、鼻尖和嘴角的坐标信息，优选的，利用深度神经网络的训练检测获取待分析人脸图像中眼睛、鼻尖和嘴角的位置。凭借深度神经网络的训练可以快速获取人脸图像中眼睛鼻尖嘴角的位置信息，便于进行坐标位置的提取。
在具体的实施例中，人脸正脸程度得分的计算是基于人脸五个关键点(它们的坐标位置分别为左眼中心点(x0，y0)，右眼中心点(x1，y1)，鼻尖(x2、y2)，左嘴角顶点(x3，y3)和右嘴角顶点坐标(x4，y4)，这五个关键点的位置可以通过不同的机器学习模型训练并检测得到)以及根据人脸边界得到的人脸中心点坐标(cx、cy)的坐标信息求得的，w和h分别表示为人脸图像的长和宽。通过五个关键点可以较为准确的对人脸图像进行正脸程度的分析，可以从倾斜度、偏移度和对称度多个方面来对人脸图像进行分析评价。
S203：利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度。
在具体的实施例中，基于步骤S203所获取的各个关键点的坐标信息，进行人脸中心点与待分析人脸图像的中心的偏移度以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度的分值计算，其中，脸部左右对称度的分值具体包括分别利用眼睛、嘴角相对于鼻尖的位置，计算的第一左右对称度分值和第二左右对称度分值具体的计算方式如下：
人脸中心点与待分析人脸图像的中心的偏移度的分值计算公式具体为：
Figure BDA0002735986070000061
Figure BDA0002735986070000062
眼睛的倾斜度的分值计算公式具体为：
Figure BDA0002735986070000063
嘴角的倾斜度的分值计算公式具体为：
Figure BDA0002735986070000064
脸部根据眼睛和鼻尖位置测算的第一左右对称度计算公式具体为：
Figure BDA0002735986070000065
Figure BDA0002735986070000066
脸部根据嘴角和鼻尖位置测算的第二左右对称度分值得计算公式具体为：
Figure BDA0002735986070000067
Figure BDA0002735986070000068
鼻尖与人脸边界的中心点的偏移度的分值计算公式具体为：
Figure BDA0002735986070000071
Figure BDA0002735986070000072
S204：将模糊图像与待分析人脸图像的相邻像素灰度值的变化值、人脸图像的长和宽、人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度归一化后作为训练数据输入机器学习模型。
S205：通过监督学习算法对训练数据进行非线性拟合，利用网格搜索法对机器学习模型进行选择以及参数调优，获取最终人脸图像质量的分析模型。
在具体的实施例中，由以上描述的多个特征值在归一化后作为机器学习模型的输入向量，对已经人工打标好的“适合人脸识别-不适合人脸识别”的二分类数据集进行随机选取，以7:2:1的比例得到模型的训练集、验证集与测试集，通过SVM、朴素贝叶斯、GBDT或者AdaBoost等监督学习算法对训练数据进行非线性拟合，且通过机器学习的网格搜索法及训练、预测的流水线对适合改数据集的模型进行选择、对参数进行调优，最终得到一个在实际应用数据集中表现最好的模型。
在具体的实施例中，使用AdaBoost算法对数据集进行学习，该算法属于集成学习，它是将N个弱学习器(基学习器)的结果进行加权结合
Figure BDA0002735986070000073
进而提升为强学习器的一种监督学习算法。它的具体步骤如下：
输入：
1)训练集D＝{(x1，y1),(x2，y2),…,(xN，yN)},其中xi是一个含有10个元素的列向量,即
Figure BDA0002735986070000074
yi是标量，yi∈{-1,+1}，-1代表不适合人脸识别的类别标签，+1代表适合人脸识别的类别标签(i＝1,2,…,N)。
2)基学习算法
Figure BDA0002735986070000075
他们可以是C4.5决策树、CART分类树、BP神经网络算法等等的其中一种算法。
3)训练轮数M。
1.初始化样本的权重：D1＝(w11,w12,…,w1N),w1i＝1/N(i＝1,2,…,N)；
2.对m＝1,2,…,M，重复以下操作得到M个基学习器：
1)按照当前样本权重Dm训练数据得到第m个基学习器
Gm(x)，从而会得到一系列该基学习器预测的标签Gm(xi)∈{-1,+1}。
2)计算在当前样本权重Dm上的分类错误率：
Figure BDA0002735986070000076
Figure BDA0002735986070000077
Figure BDA0002735986070000078
3)如果em＞0.5，抛弃当前基学习器，提前结束学习过程。
4)计算Gm(x)的系数αm(最终集成算法使用相应基学习器的权重)：
Figure BDA0002735986070000081
5)更新训练样本权重
Figure BDA0002735986070000082
Figure BDA0002735986070000083
Figure BDA0002735986070000084
3.构建集成分类器
Figure BDA0002735986070000085
输出：G(x)为最终类别的标签
由以上过程可得多个特征值构成的训练集上训练得到的AdaBoost模型用来对人脸图像质量进行评价，筛选适合做人脸识别的人脸图像。对于SVM、朴素贝叶斯、GBDT等算法，在实际训练的过程中方法类似。这些算法，连同算法内可调参数(比如Adaboost中训练轮数、具体的基学习算法)把需要对比结果的取值一起列举出来，即使用网格搜索法，将所有的参数结合方式都穷举到训练流水线中顺序进行训练，最后通过每个模型在验证集的F1得分(模型的精确率和召回率的调和平均得分)得到得分最高的模型算法及参数组合，即为在实际应用数据集中表现最好的模型。上述方法解决了现有技术中人脸图像质量评价算法的各特征维度与图像质量评分之间存在的非线性关系以及调节权重参数非常困难的技术问题，使得人脸图像质量算法对人眼评价结果有更好的拟合性，且通过机器学习的网格搜索法及训练、预测的流水线能更快更直观地得到参数优化结果。
继续参考图4，图4示出了根据本发明的实施例的一种用于人脸图像质量的评价系统的框架图。该系统具体包括训练数据采集单元401、训练数据处理单元402和模型构建单元405。
在具体的实施例中，训练数据采集单元401：配置用于对待分析人脸图像进行低通滤波处理获取模糊图像，获取模糊图像与待分析人脸图像的相邻像素灰度值的变化值；获取待分析人脸图像中的人脸边界，根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息以及人脸图像的长和宽，并分别获取待分析人脸图像中眼睛、鼻尖和嘴角在待分析人脸图像中的坐标信息；利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度。训练数据处理单元402：配置用于将模糊图像与待分析人脸图像的相邻像素灰度值的变化值、人脸图像的长和宽、人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度归一化后作为训练数据输入机器学习模型。模型构建单元403：通过监督学习算法对训练数据进行非线性拟合，利用网格搜索法对机器学习模型进行选择以及参数调优，获取最终人脸图像质量的分析模型。
下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：对待分析人脸图像进行低通滤波处理获取模糊图像，获取模糊图像与待分析人脸图像的相邻像素灰度值的变化值；获取待分析人脸图像中的人脸边界，根据人脸边界获取人脸中心点在待分析人脸图像中的坐标信息以及人脸图像的长和宽，并分别获取待分析人脸图像中眼睛、鼻尖和嘴角在待分析人脸图像中的坐标信息；利用坐标信息分别计算获得人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度；将模糊图像与待分析人脸图像的相邻像素灰度值的变化值、人脸图像的长和宽、人脸中心点与待分析人脸图像的中心以及鼻尖与人脸边界的中心点的偏移度、眼睛、嘴角的倾斜度、脸部左右对称度归一化后作为训练数据输入机器学习模型；通过监督学习算法对训练数据进行非线性拟合，利用网格搜索法对机器学习模型进行选择以及参数调优，获取最终人脸图像质量的分析模型。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于人脸图像质量的评价方法，其特征在于，包括以下步骤：
S1：对待分析人脸图像进行低通滤波处理获取模糊图像，获取所述模糊图像与所述待分析人脸图像的相邻像素灰度值的变化值；
S2：获取所述待分析人脸图像中的人脸边界，根据所述人脸边界获取人脸中心点在所述待分析人脸图像中的坐标信息以及所述人脸图像的长和宽，并分别获取所述待分析人脸图像中眼睛、鼻尖和嘴角在所述待分析人脸图像中的坐标信息；
S3：利用所述坐标信息分别计算获得所述人脸中心点与所述待分析人脸图像的中心以及所述鼻尖与所述人脸边界的中心点的偏移度、所述眼睛、所述嘴角的倾斜度、脸部左右对称度；
S4：将所述模糊图像与所述待分析人脸图像的相邻像素灰度值的变化值、所述人脸图像的长和宽、所述人脸中心点与所述待分析人脸图像的中心以及所述鼻尖与所述人脸边界的中心点的偏移度、所述眼睛、所述嘴角的倾斜度、脸部左右对称度归一化后作为训练数据输入机器学习模型；以及
S5：通过监督学习算法对所述训练数据进行非线性拟合，利用网格搜索法对所述机器学习模型进行选择以及参数调优，获取最终人脸图像质量的分析模型。
2.根据权利要求1所述的用于人脸图像质量的评价方法，其特征在于，所述步骤S1中的所述模糊图像与所述待分析人脸图像的相邻像素灰度值的变化值采用二次模糊的清晰度算法获取。
3.根据权利要求1所述的用于人脸图像质量的评价方法，其特征在于，所述步骤S3之前还包括利用深度神经网络的训练检测获取所述待分析人脸图像中眼睛、鼻尖和嘴角的位置。
4.根据权利要求1所述的用于人脸图像质量的评价方法，其特征在于，所述步骤S3中所述人脸中心点与所述待分析人脸图像的中心的偏移度的分值计算公式具体为：
Figure FDA0002735986060000011
所述鼻尖与所述人脸边界的中心点的偏移度的分值计算公式具体为：
Figure FDA0002735986060000012
其中，(cx、cy)表示所述人脸中心点坐标，(x2、y2)表示所述鼻尖的坐标，w表示所述待分析人脸图像的宽度，h表示所述待分析人脸图像的高度。
5.根据权利要求1所述的用于人脸图像质量的评价方法，其特征在于，所述步骤S2中的所述眼睛的坐标信息具体包括左眼中心点坐标(x0，y0)和右眼中心点坐标(x1，y1)，所述嘴角的坐标信息具体包括左嘴角顶点坐标(x3，y3)和右嘴角顶点坐标(x4，y4)。
6.根据权利要求5所述的用于人脸图像质量的评价方法，其特征在于，所述步骤S3中所述眼睛的倾斜度的分值计算公式具体为：
Figure FDA0002735986060000021
所述嘴角的倾斜度的分值计算公式具体为：
Figure FDA0002735986060000022
7.根据权利要求5所述的用于人脸图像质量的评价方法，其特征在于，所述脸部左右对称度的分值具体包括分别利用所述眼睛、所述嘴角相对于所述鼻尖的位置计算的第一左右对称度分值和第二左右对称度分值。
8.根据权利要求7所述的用于人脸图像质量的评价方法，其特征在于，所述第一左右对称度分值的计算公式具体为：
Figure FDA0002735986060000023
所述第二左右对称度分值得计算公式具体为：
Figure FDA0002735986060000024
Figure FDA0002735986060000025
9.根据权利要求1所述的用于人脸图像质量的评价方法，其特征在于，所述步骤S4还包括将所述训练数据作为所述机器学习模型的输入向量，进行随机选取并获得训练集、验证集和测试集。
10.根据权利要求9所述的用于人脸图像质量的评价方法，其特征在于，所述训练集、所述验证集和所述测试集的比例为7:2:1。
11.根据权利要求1所述的用于人脸图像质量的评价方法，其特征在于，所述监督学习算法包括SVM、朴素贝叶斯、GBDT或AdaBoost。
12.根据权利要求9所述的用于人脸图像质量的评价方法，其特征在于，所述步骤S5具体包括利用网格搜索法将可调参数穷举到训练流水线中顺序进行训练，所述最终人脸图像质量模型为在验证集的得分最高的机器学习模型及参数的组合。
13.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至12中任一项所述的方法。
14.一种用于人脸图像质量的评价系统，其特征在于，所述系统包括：
训练数据采集单元：配置用于对待分析人脸图像进行低通滤波处理获取模糊图像，获取所述模糊图像与所述待分析人脸图像的相邻像素灰度值的变化值；获取所述待分析人脸图像中的人脸边界，根据所述人脸边界获取人脸中心点在所述待分析人脸图像中的坐标信息以及所述人脸图像的长和宽，并分别获取所述待分析人脸图像中眼睛、鼻尖和嘴角在所述待分析人脸图像中的坐标信息；利用所述坐标信息分别计算获得所述人脸中心点与所述待分析人脸图像的中心以及所述鼻尖与所述人脸边界的中心点的偏移度、所述眼睛、所述嘴角的倾斜度、脸部左右对称度；
训练数据处理单元：配置用于将所述模糊图像与所述待分析人脸图像的相邻像素灰度值的变化值、所述人脸图像的长和宽、所述人脸中心点与所述待分析人脸图像的中心以及所述鼻尖与所述人脸边界的中心点的偏移度、所述眼睛、所述嘴角的倾斜度、脸部左右对称度归一化后作为训练数据输入机器学习模型；以及
模型构建单元：通过监督学习算法对所述训练数据进行非线性拟合，利用网格搜索法对所述机器学习模型进行选择以及参数调优，获取最终人脸图像质量的分析模型。
CN202011133726.4A 2020-10-21 2020-10-21 一种用于人脸图像质量的评价方法和系统 Active CN112215831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011133726.4A CN112215831B (zh) 2020-10-21 2020-10-21 一种用于人脸图像质量的评价方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011133726.4A CN112215831B (zh) 2020-10-21 2020-10-21 一种用于人脸图像质量的评价方法和系统

Publications (2)

Publication Number Publication Date
CN112215831A true CN112215831A (zh) 2021-01-12
CN112215831B CN112215831B (zh) 2022-08-26

Family

ID=74056401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011133726.4A Active CN112215831B (zh) 2020-10-21 2020-10-21 一种用于人脸图像质量的评价方法和系统

Country Status (1)

Country Link
CN (1) CN112215831B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344843A (zh) * 2021-04-09 2021-09-03 中科创达软件股份有限公司 一种图像质量测评方法、装置和系统
CN113569694A (zh) * 2021-07-22 2021-10-29 北京市博汇科技股份有限公司 一种面部筛选方法、装置、设备及存储介质
CN113643257A (zh) * 2021-08-12 2021-11-12 北京百度网讯科技有限公司 图像噪点检测方法、装置、设备、存储介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886344A (zh) * 2014-04-14 2014-06-25 西安科技大学 一种图像型火灾火焰识别方法
CN107341463A (zh) * 2017-06-28 2017-11-10 北京飞搜科技有限公司 一种结合图像质量分析与度量学习的人脸特征识别方法
EP3306527A1 (en) * 2016-10-05 2018-04-11 Canon Europa N.V. A method of cropping an image, an apparatus for cropping an image, a program and a storage medium
CN109711268A (zh) * 2018-12-03 2019-05-03 浙江大华技术股份有限公司 一种人脸图像筛选方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886344A (zh) * 2014-04-14 2014-06-25 西安科技大学 一种图像型火灾火焰识别方法
EP3306527A1 (en) * 2016-10-05 2018-04-11 Canon Europa N.V. A method of cropping an image, an apparatus for cropping an image, a program and a storage medium
CN107341463A (zh) * 2017-06-28 2017-11-10 北京飞搜科技有限公司 一种结合图像质量分析与度量学习的人脸特征识别方法
CN109711268A (zh) * 2018-12-03 2019-05-03 浙江大华技术股份有限公司 一种人脸图像筛选方法及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344843A (zh) * 2021-04-09 2021-09-03 中科创达软件股份有限公司 一种图像质量测评方法、装置和系统
CN113344843B (zh) * 2021-04-09 2024-04-19 中科创达软件股份有限公司 一种图像质量测评方法、装置和系统
CN113569694A (zh) * 2021-07-22 2021-10-29 北京市博汇科技股份有限公司 一种面部筛选方法、装置、设备及存储介质
CN113569694B (zh) * 2021-07-22 2024-03-19 北京市博汇科技股份有限公司 一种面部筛选方法、装置、设备及存储介质
CN113643257A (zh) * 2021-08-12 2021-11-12 北京百度网讯科技有限公司 图像噪点检测方法、装置、设备、存储介质及程序产品
CN113643257B (zh) * 2021-08-12 2023-09-22 北京百度网讯科技有限公司 图像噪点检测方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN112215831B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN112215831B (zh) 一种用于人脸图像质量的评价方法和系统
US11657602B2 (en) Font identification from imagery
CN108269254B (zh) 图像质量评估方法和装置
CN108229280B (zh) 时域动作检测方法和系统、电子设备、计算机存储介质
WO2018121690A1 (zh) 对象属性检测、神经网络训练、区域检测方法和装置
CN108280477B (zh) 用于聚类图像的方法和装置
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
Li et al. Visual tracking via incremental log-euclidean riemannian subspace learning
CN108416326B (zh) 人脸识别方法和装置
WO2016150240A1 (zh) 身份认证方法和装置
CN111860573A (zh) 模型训练方法、图像类别检测方法、装置和电子设备
CN108985190B (zh) 目标识别方法和装置、电子设备、存储介质
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN111539942A (zh) 基于多尺度深度特征融合的人脸深度篡改图像的检测方法
CN112800876B (zh) 一种用于重识别的超球面特征嵌入方法及系统
CN111784658B (zh) 一种用于人脸图像的质量分析方法和系统
CN111860414A (zh) 一种基于多特征融合检测Deepfake视频方法
CN116579616B (zh) 一种基于深度学习的风险识别方法
CN112052730A (zh) 一种3d动态人像识别监控设备及方法
JP2012048624A (ja) 学習装置、方法及びプログラム
CN107633527B (zh) 基于全卷积神经网络的目标追踪方法及装置
CN114511733A (zh) 基于弱监督学习的细粒度图像识别方法、装置及可读介质
US20230245495A1 (en) Face recognition systems data collection process
Rusyn et al. Automated Recognition of Numeric Display Based on Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant